RS66025B1 - Postupak i uređaj za kodiranјe/dekodiranјe podataka o slici - Google Patents

Postupak i uređaj za kodiranјe/dekodiranјe podataka o slici

Info

Publication number
RS66025B1
RS66025B1 RS20241048A RSP20241048A RS66025B1 RS 66025 B1 RS66025 B1 RS 66025B1 RS 20241048 A RS20241048 A RS 20241048A RS P20241048 A RSP20241048 A RS P20241048A RS 66025 B1 RS66025 B1 RS 66025B1
Authority
RS
Serbia
Prior art keywords
image
resizing
information
partitioning
encoding
Prior art date
Application number
RS20241048A
Other languages
English (en)
Inventor
Ki Baek Kim
Original Assignee
B1 Institute Of Image Technology Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by B1 Institute Of Image Technology Inc filed Critical B1 Institute Of Image Technology Inc
Publication of RS66025B1 publication Critical patent/RS66025B1/sr

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/12—Panospheric to cylindrical image transformations
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/158—Switching image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/55—Motion estimation with spatial constraints, e.g. at image or region borders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/563—Motion estimation with padding, i.e. with filling of non-object values in an arbitrarily shaped picture block or region for estimation purposes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Discrete Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

Opis
[OBLAST PRONALASKA]
[0001] Predmetni pronalazak se odnosi na tehnologiju kodiranja i dekodiranja podataka o slici, a tačnije, na postupak i uređaj za kodiranje i dekodiranje slike od 360 stepeni za realističnu medijsku uslugu.
[STANJE TEHNIKE]
[0002] Sa širenjem interneta i mobilnih terminala i razvojem informacionih i komunikacionih tehnologija, upotreba multimedijalnih podataka se ubrzano povećava. U skorije vreme, potražnja za slikama visoke rezolucije i visokokvalitetnim slikama kao što su slike visoke definicije (HD) i ultra visoke definicije (UHD) se javlja u raznim oblastima, a potražnja za realističnim medijskim uslugama kao što su virtuelna stvarnost, proširena stvarnost, i slično, ubrzano raste. Konkretno, pošto se slike u više prikaza snimljene većim brojem kamera obrađuju za slike od 360 stepeni za virtuelnu stvarnost i proširenu stvarnost, količina podataka generisanih za obradu se značajno povećava, ali su performanse sistema za obradu slika, za obradu velike količine podataka nedovoljne.
[0003] Patentna prijava US 2006/034374 A1, objavljena 16. februara 2006, stavlja na uvid javnosti kodiranje i dekodiranje omnidirekcionih (posebno cilindričnih) slika od 360 stepeni. Slike se projektuju na 2D ravan i vrši se predviđanje vektora kretanja, koji se proteže preko leve i desne granice slike, koje, u stvari, predstavljaju susedne oblasti slike. Štaviše, „unapred određeni opseg” (tj. broj kolona) je ispunjen pikselima sa druge strane.
[0004] Kao što je gore opisano, kod postupka i uređaja za kodiranje i dekodiranje slike iz srodne tehnike, postoji potreba za poboljšanjem performansi u obradi slike, posebno kodiranju/dekodiranju slike.
[DETALJAN OPIS PRONALASKA]
[TEHNIČKI PROBLEM]
[0005] Predmet ovog pronalaska je da obezbedi postupak za poboljšanje procesa podešavanja slike u početnim koracima za kodiranje i dekodiranje. Tačnije, predmetni pronalazak je usmeren na obezbeđivanje postupka i uređaja za kodiranje i dekodiranje za poboljšanje procesa podešavanja slike uzimajući u obzir karakteristike slike od 360 stepeni.
[TEHNIČKO REŠENЈE]
[0006] U skladu sa aspektom predmetnog pronalaska, obezbeđen je postupak dekodiranja slike od 360 stepeni, kao što je definisano u nezavisnom patentnom zahtevu 1.
[0007] Dalji aspekti pronalaska se odnose na postupak za kodiranje slike od 360 stepeni i na privremeni računarski čitljiv medij za snimanje koji čuva tok bitova dobijen od datog kodiranja, kao što je odgovarajuće definisano u nezavisnim patentnim zahtevima 3 i 4.
[POVOLJNI EFEKTI PRONALASKA]
[0008] Sa postupkom i uređajem za kodiranje/dekodiranje slike prema jednoj realizaciji predmetnog pronalaska, moguće je poboljšati performanse kompresije. Konkretno, za sliku od 360 stepeni, moguće je poboljšati performanse kompresije.
[OPIS CRTEŽA]
[0009]
Slika 1 je blok dijagram uređaja za kodiranje slike prema jednoj realizaciji predmetnog pronalaska.
Slika 2 je blok dijagram uređaja za dekodiranje slike prema jednoj realizaciji predmetnog pronalaska.
Slika 3 je primer dijagrama u kome su informacije o slici podeljene na slojeve kako bi se komprimovala slika.
Slika 4 je konceptualni dijagram koji prikazuje primere particionisanja slike prema jednoj realizaciji predmetnog pronalaska.
Slika 5 je još jedan primer dijagrama postupka particionisanja slike prema jednoj realizaciji predmetnog pronalaska.
Sl. 6 je primer dijagrama opšteg postupka promene veličine slike.
Slika 7 je primer dijagrama promene veličine slike prema jednoj realizaciji predmetnog pronalaska.
Slika 8 je primer dijagrama postupka konstruisanja regiona generisanog proširenjem u postupku promene veličine slike prema jednoj realizaciji predmetnog pronalaska.
Slika 9 je primer dijagrama postupka za konstruisanje regiona koji treba da se izbriše i regiona koji treba da se generiše u postupku promene veličine slike prema jednoj realizaciji predmetnog pronalaska.
Slika 10 je primer dijagrama rekonstrukcije slike prema jednoj realizaciji predmetnog pronalaska.
Slika 11 je primer dijagrama koji prikazuje slike pre i posle procesa podešavanja slike prema jednoj realizaciji predmetnog pronalaska.
Slika 12 je primer dijagrama promene veličine svake jedinice za particionisanje slike prema jednoj realizaciji predmetnog pronalaska.
Slika 13 je primer dijagrama skupa promene veličine ili podešavanja jedinice za particionisanje na slici.
Slika 14 je primer dijagrama u kome su predstavljeni i proces promene veličine slike i proces promene veličine jedinica za particionisanje na slici.
Slika 15 je primer dijagrama koji prikazuje dvodimenzionalni (2D) planarni prostor i trodimenzionalni (3D) prostor koji prikazuje 3D sliku.
Slike 16A do 16D su konceptualni dijagrami koji prikazuju format projekcije prema jednoj realizaciji predmetnog pronalaska.
Slika 17 je konceptualni dijagram koji pokazuje da je format projekcije uključen u pravougaonu sliku prema jednoj realizaciji predmetnog pronalaska.
Slika 18 je konceptualni dijagram postupka za konvertovanje formata projekcije u pravougaoni oblik, to jest, postupka za izvođenje preuređenja na licu da bi se isključio besmisleni region prema jednoj realizaciji predmetnog pronalaska.
Slika 19 je konceptualni dijagram koji pokazuje da se proces pakovanja po regionima izvodi da bi se konvertovao CMP projekcioni format u pravougaonu sliku prema realizaciji predmetnog pronalaska.
Slika 20 je konceptualni dijagram podele slike od 360 stepeni prema realizaciji predmetnog pronalaska.
Slika 21 je primer dijagrama podele slike od 360 stepeni i rekonstrukcije slike prema realizaciji predmetnog pronalaska.
Slika 22 je primer dijagrama u kome je slika upakovana ili projektovana od strane CMP-a particionisana na pločice.
Slika 23 je konceptualni dijagram koji prikazuje primer promene veličine slike od 360 stepeni prema jednoj realizaciji predmetnog pronalaska.
Slika 24 je konceptualni dijagram koji prikazuje kontinuitet između lica u formatu projekcije (npr. CHP, OHP ili ISP) prema jednoj realizaciji predmetnog pronalaska.
Slika 25 je konceptualni dijagram koji prikazuje kontinuitet lica Sekcije 21C, što je slika dobijena procesom rekonstrukcije slike ili procesom pakovanja po regionima u formatu CMP projekcije.
Slika 26 je primer dijagrama koji prikazuje promenu veličine slike u formatu CMP projekcije prema jednoj realizaciji predmetnog pronalaska.
Slika 27 je primer dijagrama koji prikazuje promenu veličine slike transformisane i upakovane u format CMP projekcije prema jednoj realizaciji predmetnog pronalaska. Slika 28 je primer dijagrama koji prikazuje postupak obrade podataka za promenu veličine slike od 360 stepeni prema jednoj realizaciji predmetnog pronalaska.
Slika 29 je primer dijagrama koji prikazuje blok formu zasnovanu na stablu.
Slika 30 je primer dijagrama koji prikazuje blok formu zasnovanu na tipu.
Slika 31 je primer dijagrama koji prikazuje različite tipove blokova koji se mogu dobiti pomoću dela za particionisanje blokova predmetnog pronalaska.
Slika 32 je primer dijagrama koji prikazuje particionisanje zasnovano na stablu prema realizaciji predmetnog pronalaska.
Slika 33 je primer dijagrama koji prikazuje particionisanje zasnovano na stablu prema jednoj realizaciji predmetnog pronalaska.
Slika 34 je primer dijagrama koji prikazuje različite slučajeve u kojima se blok predikcije dobija putem inter predikcije.
Slika 35 je primer dijagrama koji prikazuje sastav liste referentnih slika prema realizaciji predmetnog pronalaska.
Slika 36 je konceptualni dijagram koji prikazuje model kretanja bez translacije prema jednoj realizaciji predmetnog pronalaska.
Slika 37 je primer dijagrama koji prikazuje procenu kretanja u jedinicama podbloka prema jednoj realizaciji predmetnog pronalaska.
Slika 38 je primer dijagrama koji prikazuje blok na koji se upućuje u predikciju informacija o kretanju trenutnog bloka prema jednoj realizaciji predmetnog pronalaska.
Slika 39 je primer dijagrama koji prikazuje blok referenciran za predikciju informacija o kretanju trenutnog bloka u modelu kretanja bez translacije prema jednoj realizaciji predmetnog pronalaska.
Slika 40 je primer dijagrama koji prikazuje da se interpredikciju vrši korišćenjem proširene slike prema jednoj realizaciji predmetnog pronalaska.
Slika 41 je konceptualni dijagram koji prikazuje proširenje jedinice lica prema jednoj realizaciji predmetnog pronalaska.
Slika 42 je primer dijagrama koji prikazuje da se interpredikciju vrši korišćenjem proširene slike prema jednoj realizaciji predmetnog pronalaska.
Slika 43 je primer dijagrama koji prikazuje da se interpredikciju vrši korišćenjem proširene referentne slike prema jednoj realizaciji predmetnog pronalaska.
Slika 44 je primer dijagrama koji prikazuje sastav grupe kandidata za predikciju informacija o kretanju za inter predikciju na slici od 360 stepeni prema jednoj realizaciji predmetnog pronalaska.
[NAJBOLJI REŽIM]
[0010] Napredni pronalazak je dat na slikama 7 i 8 sa odgovarajućim odlomcima opisa. Osim ako se ne stavljaju na uvid detalji koji se odnose na jednu ili više karakteristika patentnih zahteva, ostatak opisa samo predstavlja osnovne informacije i dalje primere – koji nisu deo pronalaska – bez obzira na to što su neki od navedenih primera označeni kao „realizacija” i/ili kao „aspekti pronalaska”.
[0011] Shodno tome, dok je pronalazak podložan raznim modifikacijama i alternativnim oblicima, njegove specifične realizacije su prikazane kao primer na crtežima i ovde će biti detaljno opisane. Trebalo bi razumeti, međutim, da ne postoji namera da se pronalazak ograniči na određene oblike koji su stavljeni na uvid javnosti. Obim pronalaska definisan je priloženim patentnim zahtevima.
[0012] Slični brojevi se odnose na slične elemente u opisu slika.
[0013] Podrazumeva se da, iako se izrazi prvi, drugi, itd. ovde mogu koristiti za opisivanje različitih elemenata, ovi elementi ne bi trebalo da budu ograničeni ovim izrazima. Ovi izrazi se koriste samo za razlikovanje jednog elementa od drugog. Na primer, prvi element bi se mogao nazvati drugim elementom, i, slično, drugi element bi se mogao nazvati prvim elementom, bez odstupanja od obima predmetnog pronalaska. Kako se ovde koristi, izraz „i/ili” uključuje bilo koju i sve kombinacije jedne ili više povezanih stavki na listi.
[0014] Podrazumeva se da kada se za neki element kaže da je „povezan” ili „spojen/uparen” sa drugim elementom, on može biti direktno povezan ili spojen sa drugim elementom ili mogu biti prisutni elementi koji se nalaze među njima. Nasuprot tome, kada se za neki element kaže da je „direktno povezan” ili „direktno spojen/uparen” sa drugim elementom, nema prisutnih elemenata koji se nalaze među njima. Druge reči koje se koriste za opisivanje odnosa između elemenata treba tumačiti na sličan način (tj. „između” naspram „direktno između”, „susedno” naspram „direktno susedno”, itd.).
[0015] Terminologija koja se ovde koristi je samo u svrhu opisa određenih realizacija i nije namenjena da ograničava pronalazak. Kako se ovde koristi, oblici jednine „a”, „an” i „the” (sa datim članom u engleskom jeziku) imaju za cilj da uključuju i oblike množine, osim ako kontekst jasno ne ukazuje drugačije. Dalje će se razumeti da izrazi „sadrži/obuhvata”, „koji sadrži/obuhvata”, „uključuje” i/ili „koji uključuje”, kada se ovde koriste, specificiraju prisustvo navedenih karakteristika, celih brojeva, koraka, operacija, elemenata i/ili komponenti, ali ne isključuju prisustvo ili dodavanje jedne ili više drugih karakteristika, celih brojeva, koraka, operacija, elemenata, komponenti i/ili njihovih grupa.
[0016] Osim ako nije drugačije definisano, svi izrazi (uključujući tehničke i naučne termine) korišćeni ovde imaju isto značenje koje uobičajeno razume stručnjak u tehnici kojoj predmetni pronalazak pripada. Dalje se podrazumeva da izraze, kao što su oni definisani u uobičajeno korišćenim rečnicima, treba tumačiti kao da imaju značenje koje je u skladu sa njihovim značenjem u kontekstu relevantne tehnike i da se neće tumačiti u idealizovanom ili previše formalnom smislu osim ako izričito tako definisano ovde.
[0017] Uređaj za kodiranje slike i uređaj za dekodiranje slike mogu biti korisnički terminal kao što je personalni računar (PC), laptop računar, lični digitalni asistent (PDA), prenosivi multimedijalni plejer (PMP), PlayStation Portable (PSP), bežični komunikacioni terminal, pametni telefon i TV, uređaj za virtuelnu realnost (VR), uređaj sa proširenom realnošću (AR), uređaj mešovite stvarnosti (MR), uređaj sa ekranom na glavi (HMD) i pametne naočare ili serverski terminal kao što je server aplikacija i servisni server, i mogu da uključuju različite uređaje koji imaju komunikacioni uređaj, kao što je komunikacioni modem, za komunikaciju sa različitim uređajima ili žičanim/bežičnim komunikacionim mrežama, memoriju za skladištenje različitih programa i podataka koja se koristi za kodiranje ili dekodiranje slike ili izvođenje inter- ili intrapredikcije za kodiranje ili dekodiranje, procesor za izvršavanje programa za obavljanje računskih i kontrolnih operacija i tako dalje. Pored toga, slika kodirana u tok bitova pomoću uređaja za kodiranje slike može se preneti, u realnom vremenu ili u nerealnom vremenu, na uređaj za dekodiranje slike preko žičane/bežične komunikacione mreže kao što je internet, bežična mreža kratkog dometa, bežična lokalna mreža (LAN), WiBro mreža, mobilna komunikaciona mreža ili preko raznih komunikacionih interfejsa kao što je kabl, univerzalna serijska magistrala (USB) ili slično. Zatim, tok bitova može biti dekodiran pomoću uređaja za dekodiranje slike da bi se vratio i ponovo reprodukovao kao slika.
[0018] Takođe, slika kodirana u tok bitova pomoću uređaja za kodiranje slike može se preneti iz uređaja za kodiranje slike u uređaj za dekodiranje slike preko računarski čitljivog medija za snimanje.
[0019] Gore opisani uređaj za kodiranje slike i uređaj za dekodiranje mogu biti odvojeni uređaji, ali mogu biti obezbeđeni kao jedan uređaj za kodiranje/dekodiranje slike u skladu sa primenom. U ovom slučaju, neki elementi uređaja za kodiranje slike mogu biti u suštini isti kao oni kod uređaja za dekodiranje slike i mogu se implementirati tako da uključuju najmanje iste strukture ili da obavljaju iste funkcije.
[0020] Zbog toga će u daljem detaljnom opisu tehničkih elemenata i njihovih principa rada, suvišni opis odgovarajućih tehničkih elemenata biti izostavljen.
[0021] Takođe, uređaj za dekodiranje slike odgovara računarskom uređaju koji primenjuje postupak kodiranja slike koji izvodi uređaj za kodiranje slike na proces dekodiranja, i stoga će se sledeći opis fokusirati na uređaj za kodiranje slike.
[0022] Računarski uređaj može da sadrži memoriju konfigurisanu da skladišti program ili softverski režim za implementaciju postupka kodiranja slike i/ili postupka dekodiranja slike i procesor povezan sa memorijom za izvršavanje programa. Takođe, uređaj za kodiranje slike se, takođe, može nazvati koderom, a uređaj za dekodiranje slike se takođe može nazvati dekoderom.
[0023] Generalno, slika može biti sastavljena od niza nepokretnih slika (eng. still images). Nepokretne slike se mogu klasifikovati u jedinice grupa slika (GOP - groups of pictures), a svaka nepokretna slika se može nazvati slikom (eng. picture). U ovom slučaju, slika može ukazivati na jedan od okvira (frame) i polja u progresivnom signalu i signalu preplitanja. Slika može biti predstavljena kao „okvir” kada se kodiranje/dekodiranje izvodi na bazi okvira i može biti predstavljeno kao „polje” kada se kodiranje/dekodiranje izvodi na bazi polja. Predmetni pronalazak pretpostavlja progresivni signal, ali se takođe može primeniti na signal preplitanja. Kao viši koncept, jedinice kao što su GOP i sekvenca mogu da postoje, a takođe svaka slika može biti podeljena na unapred određene oblasti kao što su isečci/delovi slike (slice), pločice (tile), blokovi i slično. Takođe, jedan GOP može da uključuje jedinice kao što su I-slika, P-slika i B-slika. I-slika se može odnositi na sliku koja je autonomno kodirana/dekodirana bez korišćenja referentne slike, a P-slika i B-slika se mogu odnositi na sliku koja je kodirana/dekodirana izvođenjem procesa kao što je procena pokreta i kompenzacija pokreta korišćenjem referentne slike. Generalno, P-slika može koristiti I-sliku i B-sliku kao referentne slike, a B-slika može koristiti I-sliku i P-sliku kao referentne slike. Međutim, gornje definicije se, takođe, mogu promeniti podešavanjem kodiranja/dekodiranja.
[0024] Ovde se slika na koju se upućuje kod kodiranja/dekodiranja naziva se referentna slika, a blok ili piksel na koji se upućuje kod kodiranja/dekodiranja naziva se referentni blok ili referentni piksel. Takođe, referentni podaci mogu da uključuju koeficijente u frekvencijskom domenu i različite tipove informacija za kodiranje/dekodiranje generisane i određene tokom procesa kodiranja/dekodiranja, kao i vrednosti piksela u prostornom domenu. Na primer, referentni podaci mogu da odgovaraju informacijama intrapredikcije ili informacijama o kretanju u delu predikcije, informacijama o transformaciji u delu za transformaciju/delu za inverznu transformacije, informacijama o kvantizaciji u delu za kvantizaciju/delu za inverznu kvantizaciju, informacijama o kodiranju/dekodiranju (informacije o kontekstu) u delu za kodiranje/dekodiranje, informacije o filteru u delu filtera za rekonstrukciju (in-loop filter) i slično.
[0025] Minimalna jedinica slike može biti piksel, a broj bitova koji se koriste za predstavljanje jednog piksela naziva se dubina boje (izražena u bitovima). Generalno, dubina boje može biti osam bitova, a dubina boje od osam ili više bitova može biti podržana u zavisnosti od podešavanja kodiranja. Najmanje jedna dubina boje može biti podržana u zavisnosti od prostora (modela) boja. Takođe, najmanje jedan prostor boja može biti uključen u skladu sa formatom boja slike. Jedna ili više slika iste veličine ili jedna ili više slika različitih veličina mogu biti uključene u skladu sa formatom boja. Na primer, YCbCr 4:2:0 može da se sastoji od jedne komponente osvetljenosti (Y u ovom primeru) i dve komponente hrominacije (Cb/Cr u ovom primeru). U ovom trenutku, odnos kompozicije komponenti hrominacije i komponente osvetljenja može biti 1:2 po širini i visini. Kao drugi primer, ICbCr 4:4:4 može imati isti odnos kompozicije u širini i visini. Kao u gornjem primeru, kada je uključen jedan ili više prostora boja, slika može biti podeljena na prostore boja.
[0026] Predmetni pronalazak će biti opisan na osnovu bilo kog prostora boja (Y u ovom primeru) bilo kog formata boja (YCbCr u ovom primeru), a ovaj opis će biti primenjen na drugi prostor boja (Cb i Cr u ovom primeru) formata boja na isti ili sličan način (podešavanja zavise od specifičnog prostora boja). Međutim, svakom prostoru boja može se dati delimična razlika (podešavanja nezavisna od specifičnog prostora boja). To jest, podešavanja zavisna od svakog prostora boja mogu se odnositi na podešavanja proporcionalna ili zavisna od odnosa kombinovanja svake komponente (npr. 4:2:0, 4:2:2 ili 4:4:4), a podešavanje nezavisno od svakog prostora boja može se odnositi na podešavanja samo odgovarajućeg prostora boja, nezavisno od ili bez obzira na odnos kompozicije (kombinovanja) svake komponente. U predmetnom pronalasku, neki elementi mogu imati nezavisna podešavanja ili zavisna podešavanja u zavisnosti od kodera/dekodera.
[0027] Informacije o podešavanju ili elementi sintakse potrebni tokom procesa kodiranja slike mogu se odrediti na nivou jedinica kao što su video, sekvenca, slika, isečak/deo slike, pločica, blok i slično. Jedinice uključuju skup video parametara (VPS), skup parametara sekvence (SPS), skup parametara slike (PPS), zaglavlje isečka, zaglavlje pločice i zaglavlje bloka. Koder može dodati jedinice u tok bitova i poslati tok bitova u dekoder. Dekoder može raščlaniti tok bitova na istom nivou, vratiti informacije o podešavanju koje šalje koder i koristiti informacije o podešavanju u procesu dekodiranja slike. Takođe, povezane informacije se mogu preneti kroz tok bitova u obliku dodatnih informacija o poboljšanju (SEI) ili metapodataka, a zatim se mogu raščlaniti i zatim koristiti. Svaki skup parametara ima jedinstvenu vrednost ID-a, a donji skup parametara može imati ID vrednost gornjeg skupa parametara na koji se poziva. Na primer, donji skup parametara može se odnositi na informacije gornjeg skupa parametara koji ima odgovarajuću ID vrednost među jednim ili više gornjih skupova parametara. Među različitim primerima gore opisanih jedinica, kada bilo koja jedinica uključuje jednu ili više različitih jedinica, svaka jedinica se može nazvati gornjom jedinicom, a uključene jedinice mogu se nazvati donjom jedinicom.
[0028] Informacije o podešavanju koje su se desile u takvoj jedinici mogu da uključuju podešavanja nezavisna od svake jedinice ili podešavanja zavisna od prethodne, sledeće ili gornje jedinice. Ovde se podrazumeva da zavisna podešavanja označavaju informacije o podešavanju odgovarajuće jedinice koristeći informacije o indikatoru/zastavici koje odgovaraju podešavanjima prethodne, sledeće ili gornje jedinice (npr. 1-bitni indikator; 1 označava Prati, a 0 označava Ne prati). U predmetnom pronalasku biće opisane informacije o podešavanju, fokusirajući se na primer nezavisnih podešavanja. Međutim, može da se, takođe, uključi primer u kome se relacija koja zavisi od informacija o podešavanju prethodne, sledeće ili gornje jedinice trenutne jedinice dodaje ili zamenjuje nezavisnim podešavanjima.
[0029] Slika 1 je blok dijagram uređaja za kodiranje slike prema jednoj realizaciji predmetnog pronalaska. Slika 2 je blok dijagram uređaja za dekodiranje slike prema jednoj realizaciji predmetnog pronalaska.
[0030] Uz upućivanje na Sl.1, uređaj za kodiranje slike može biti konfigurisan da uključuje deo za predikciju, oduzimanje, deo za transformaciju, deo za kvantizaciju, deo za inverznu kvantizaciju, deo za inverznu transformaciju, sabirač, deo filtera za rekonstrukciju, memoriju i/ili deo za kodiranje, od kojih neki ne moraju nužno biti uključeni. Neki ili svi elementi mogu biti uključeni selektivno u zavisnosti od primene, a neki dodatni elementi koji ovde nisu prikazani mogu biti uključeni.
[0031] Uz upućivanje na Sl.2, uređaj za dekodiranje slike može biti konfigurisan da uključuje deo za dekodiranje, deo za predikciju, deo za inverznu kvantizaciju, deo za inverznu transformaciju, sabirač, deo filtera za rekonstrukciju i/ili memoriju, od kojih neki možda neće obavezno biti uključeni. Neki ili svi elementi mogu biti uključeni selektivno u zavisnosti od implementacije, a neki dodatni elementi koji ovde nisu prikazani mogu biti uključeni.
[0032] Uređaj za kodiranje slike i uređaj za dekodiranje mogu biti odvojeni uređaji, ali mogu biti obezbeđeni kao jedan uređaj za kodiranje/dekodiranje slike u zavisnosti od primene. U ovom slučaju, neki elementi uređaja za kodiranje slike mogu biti u suštini isti kao oni kod uređaja za dekodiranje slike i mogu se implementirati tako da uključuju najmanje iste strukture ili da obavljaju iste funkcije. Zbog toga će u daljem detaljnom opisu tehničkih elemenata i njihovih principa rada, suvišni opis odgovarajućih tehničkih elemenata biti izostavljen. Uređaj za dekodiranje slike odgovara računarskom uređaju koji primenjuje postupak kodiranja slike, koji sprovodi uređaj za kodiranje slike na proces dekodiranja, i stoga će se sledeći opis fokusirati na uređaj za kodiranje slike. Uređaj za kodiranje slike se, takođe, može nazvati koderom, a uređaj za dekodiranje slike se, takođe, može nazvati dekoderom.
[0033] Deo za predikciju može da se implementira korišćenjem modula za predikciju i može da generiše blok predikcije izvođenjem intrapredikcije ili interpredikcije na bloku koji treba da se kodira. Deo za predikciju generiše blok predikcije predviđajući trenutni blok koji će biti kodiran u slici. Drugim rečima, deo za predikciju može predvideti vrednosti piksela za piksele trenutnog bloka koji će biti kodirani u slici kroz intrapredikciju ili interpredikciju da generiše blok predikcije koji ima predviđene vrednosti piksela za piksele. Takođe, deo za predikciju može da isporuči informacije potrebne za generisanje predikcionog bloka delu za kodiranje tako da informacije o režimu predikcije budu kodirane. Deo za kodiranje dodaje odgovarajuće informacije u tok bitova i prenosi tok bitova u dekoder. Dekodirajući deo dekodera može da raščlani odgovarajuće informacije, vrati informacije o režimu predikcije, a zatim da koristi informacije o režimu predikcije da izvrši intrapredikciju ili interpredikciju.
[0034] Suptraktor oduzima blok predikcije od trenutnog bloka da bi generisao preostali blok. Drugim rečima, oduzimanje može izračunati razliku između vrednosti piksela svakog piksela trenutnog bloka koji treba da se kodira i predviđene vrednosti piksela svakog piksela bloka za predikciju generisane kroz deo za predikciju da bi generisao preostali blok, koji je rezidualni signal blok-tipa.
[0035] Deo za transformaciju može transformisati signal koji pripada prostornom domenu u signal koji pripada frekvencijskom domenu. U ovom slučaju, signal dobijen procesom transformacije naziva se transformisani koeficijent. Na primer, rezidualni blok sa rezidualnim signalom koji se isporučuje iz suptraktora može se transformisati u transformacioni blok sa transformisanim koeficijentom. U ovom slučaju, ulazni signal se određuje prema podešavanjima kodiranja i nije ograničen na rezidualni signal.
[0036] Deo za transformaciju može da izvrši transformaciju na rezidualnom bloku korišćenjem tehnike transformacije kao što je Hadamardova transformacija, transformacija zasnovana na diskretnoj sinusnoj transformaciji (DST) i transformacija zasnovana na diskretnoj kosinusnoj transformaciji (DCT). Međutim, predmetni pronalazak nije ograničen na to i mogu se koristiti različite poboljšane i modifikovane tehnike transformacije.
[0037] Na primer, najmanje jedna od tehnika transformacije može biti podržana, a najmanje jedna detaljna tehnika transformacije može biti podržana u svakoj tehnici transformacije. U ovom slučaju, najmanje jedna detaljna tehnika transformacije može biti tehnika transformacije u kojoj su neki bazni vektori različito konstruisani u svakoj tehnici transformacije. Na primer, kao tehnike transformacije mogu biti podržane transformacije zasnovane na DST-u i transformacije zasnovane na DCT-u. Detaljne tehnike transformacije kao što su DST-I, DST-II, DST-III, DST-V, DST-VI, DST-VII i DST-VIII mogu biti podržane za DST, a detaljne tehnike transformacije kao što su DCT-I, DCT -II, DCT-III, DCT-V, DCT-VI, DCT-VII i DCT-VIII mogu biti podržane za DCT.
[0038] Jedna od tehnika transformacije može biti postavljena kao unapred zadata tehnika transformacije (npr. jedna tehnika transformacije && jedna tehnika detaljne transformacije), a mogu se podržati i dodatne tehnike transformacije (npr. veći broj tehnika transformacije II veći broj detaljnih tehnika transformacije). Da li se podržava dodatna tehnika transformacije može se odrediti u jedinicama sekvenci, slika, isečaka/delova slike (slice) ili pločica (tile), a povezane informacije se mogu generisati prema jedinicama. Kada je podržana dodatna tehnika transformacije, informacije o izboru tehnike transformacije mogu biti određene u blok jedinicama, a povezane informacije mogu da se generišu.
[0039] Transformacija se može izvršiti horizontalno i/ili vertikalno. Na primer, dvodimenzionalna (2D) transformacija se sprovodi horizontalnim i vertikalnim izvođenjem jednodimenzionalne (1D) transformacije korišćenjem baznog vektora tako da se vrednost piksela u prostornom domenu može transformisati u frekvencijski domen.
[0040] Takođe, transformacija se može izvršiti horizontalno i/ili vertikalno na prilagodljiv način. Preciznije, da li da se transformacija izvrši na prilagodljiv način, može se odrediti prema najmanje jednoj postavci kodiranja. Za intrapredikciju, na primer, DCT-I se može primeniti horizontalno i DST-I se može primeniti vertikalno kada je režim predikcije horizontalni režim, DST-VI se može primeniti horizontalno, a DCT-VI se može primeniti vertikalno kada model predikcije je vertikalni režim, DCT-II se može primeniti horizontalno i DCT-V se može primeniti vertikalno kada je režim predikcije dijagonalno dole levo, a DST-I se može primeniti horizontalno, a DST-VI se može primeniti vertikalno kada je režim predikcije je dijagonalno dole desno.
[0041] Veličine i oblici transformacionih blokova mogu se odrediti prema troškovima kodiranja za kandidate veličine i oblika transformacionih blokova. Podaci o slici transformacionih blokova i informacije u vezi sa utvrđenim veličinama i oblicima transformacionih blokova mogu biti kodirani.
[0042] Među oblicima transformacije, kvadratna transformacija može biti postavljena kao unapred zadati oblik transformacije, a može biti podržan i dodatni oblik transformacije (npr. pravougaoni oblik). Da li se podržava dodatni oblik transformacije može se odrediti u jedinicama sekvenci, slika, isečaka/delova slike ili pločica, a povezane informacije se mogu generisati prema jedinicama. Informacije o izboru oblika transformacije mogu se odrediti u blok jedinicama, a povezane informacije mogu da se generišu.
[0043] Takođe, da li da se podrži oblik transformacionog bloka može se odrediti prema informacijama kodiranja. U ovom slučaju, informacije o kodiranju mogu odgovarati tipu preseka, načinu kodiranja, veličini i obliku bloka, shemi particionisanja blokova, itd. To jest, jedan oblik transformacije može biti podržan prema najmanje jednom delu kodiranja informacije, i veći broj oblika transformacije može biti podržano prema najmanje jednom delu informacije kodiranja. Prvi slučaj može biti implicitna situacija, a drugi slučaj može biti eksplicitna situacija. Za eksplicitnu situaciju, informacije o adaptivnom izboru koje ukazuju na optimalnu grupu kandidata izabranu iz većeg broja grupa kandidata mogu se generisati i dodati u tok bitova. Prema predmetnom pronalasku, pored ovog primera, podrazumevaće se da kada se informacija kodiranja eksplicitno generiše, informacija se dodaje u tok bitova u različitim jedinicama i povezane informacije se raščlanjuju u različitim jedinicama i vraćaju u informacije za dekodiranje od strane dekodera. Takođe, podrazumeva se da se, kada se informacija kodiranja/dekodiranja implicitno obrađuje, obrada vrši kroz isti proces, pravilo i slično od strane kodera i dekodera.
[0044] Kao primer, podrška pravougaone transformacije se može odrediti prema tipu isečka/dela slike. Oblik transformacije podržana za I-isečak može biti kvadratna transformacija, a oblik transformacije podržan za P/B-isečak može biti kvadratna ili pravougaona transformacija.
[0045] Kao primer, podrška pravougaone transformacije može se odrediti prema modu kodiranja. Oblik transformacije podržan za intrapredikciju može biti kvadratna transformacija, a oblik transformacije podržan za interpredikcija može biti kvadratna transformacija i/ili pravougaona transformacija.
[0046] Kao primer, podrška pravougaone transformacije može se odrediti prema veličini i obliku bloka. Oblik transformacije koju podržava blok određene veličine ili veći može biti kvadratna transformacija, a oblik transformacije podržan blokom manjim od određene veličine može biti kvadratna transformacija i/ili pravougaona transformacija.
[0047] Kao primer, podrška pravougaone transformacije može se odrediti prema shemi blok particionisanja. Kada je blok koji se transformiše blok dobijen kroz shemu particionisanja četvorostrukog stabla, podržani oblik transformacije može biti kvadratna transformacija. Kada je blok koji treba transformisati blok dobijen kroz shemu particionisanja binarnog stabla, podržani oblik transformacije može biti kvadratna ili pravougaona transformacija.
[0048] Gornji primer može biti primer podrške oblika transformacije u skladu sa jednim delom informacije kodiranja, a veći broj delova informacija može biti povezan sa dodatnim podešavanjima podrške oblika transformacije u kombinaciji. Gornji primer je samo primer podrške za dodatni oblik transformacije prema različitim postavkama kodiranja. Međutim, predmetni pronalazak nije ograničen na to i mogu se izvršiti razne modifikacije.
[0049] Proces transformacije može biti izostavljen u skladu sa postavkama kodiranja ili karakteristikama slike. Na primer, proces transformacije (uključujući inverzni proces) može biti izostavljen u skladu sa postavkama kodiranja (npr. u ovom primeru se pretpostavlja okruženje kompresije bez gubitaka). Kao drugi primer, proces transformacije može biti izostavljen kada performanse kompresije kroz transformaciju nisu prikazane prema karakteristikama slike. U ovom slučaju, transformacija se može izostaviti za sve jedinice ili jednu od horizontalne i vertikalne jedinice. Da li je potrebno da se podrži izostavljanje može se odrediti prema veličini i obliku bloka.
[0050] Na primer, pretpostavlja se da su horizontalna transformacija i vertikalna transformacija zajedno izostavljene. Transformacija se ne može izvršiti ni horizontalno ni vertikalno kada je indikator/zastavica za izostavljanje transformacije 1, a transformacija se može izvršiti i horizontalno i vertikalno kada je indikator/zastavica za izostavljanje transformacije 0. S druge strane, pretpostavlja se da su horizontalna transformacija i vertikalna transformacija postavljene da se mogu nezavisno izostaviti. Horizontalna transformacija se ne izvodi kada je prvi indikator/zastavica izostavljanja transformacije 1, a horizontalna transformacija se izvodi kada je prvi indikator/zastavica izostavljanja transformacije 0. Zatim, vertikalna transformacija se ne izvodi kada je drugi indikator/zastavica za izostavljanje transformacije 1, a vertikalna transformacija se izvodi kada je drugi indikator/zastavica za izostavljanje transformacije 0.
[0051] Izostavljanje transformacije može biti podržano kada veličina bloka odgovara opsegu A, a izostavljanje transformacije ne može biti podržano kada veličina bloka odgovara opsegu B. Na primer, kada je širina bloka je veća od M ili je visina bloka veća od N, indikator/zastavica za izostavljanje transformacije ne može biti podržan. Kada je širina bloka manja od m ili visina bloka manja od n, indikator/zastavica za izostavljanje transformacije može biti podržana zastavica. M(m) i N(n) mogu biti isti ili različiti jedno od drugog. Podešavanja povezana sa transformacijom mogu se odrediti u jedinicama sekvenci, slika, isečaka/delova slike ili slično.
[0052] Kada je podržana dodatna tehnika transformacije, postavka tehnike transformacije može biti određena prema najmanje jednom delu informacija kodiranja. U ovom slučaju, informacije o kodiranju mogu odgovarati tipu preseka, režimu kodiranja, veličini i obliku bloka, režimu predikcije, itd.
[0053] Kao primer, podrška tehnike transformacije može se odrediti prema načinu kodiranja. Tehnika transformacije podržana za intrapredikciju može da uključuje DCT-I, DCT-III, DCT-VI, DST-II i DST-III, a tehnika transformacije podržana za interpredikciju može da uključuje DCT-II, DCT-III i DST-III.
[0054] Kao primer, podrška tehnike transformacije može se odrediti prema tipu isečka. Tehnika transformacije podržana za I-isečak može da uključuje DCT-I, DCT-II i DCT-III, tehnika transformacije podržana za P- isečak može da uključuje DCT-V, DST-V i DST-VI, a tehnika transformacije podržana za B- isečak može da uključuje DCT-I, DCT-II i DST-III.
[0055] Kao primer, podrška tehnike transformacije se može odrediti prema načinu predikcije. Tehnika transformacije podržana režimom predikcije A može da uključuje DCT-I i DCT-II, tehnika transformacije podržana režimom predikcije B može da uključuje DCT-I i DST-I, a tehnika transformacije podržana režimom predikcije C može da uključuje DCT-I. U ovom slučaju, režim predikcije A i režim predikcije B mogu biti svaki usmereni režim, a režim predikcije C može biti neusmereni režim.
[0056] Kao primer, podrška tehnike transformacije može se odrediti prema veličini i obliku bloka. Tehnika transformacije podržana blokom određene veličine ili većim može da uključuje DCT-II, tehnika transformacije podržana blokom manjim od određene veličine može da uključuje DCT-II i DST-V, a tehnika transformacije koju podržava blok određene veličine ili veći i manji od određene veličine mogu da uključuju DCT-I, DCT-II i DST-I. Takođe, tehnika transformacije podržana u kvadratnom obliku može da uključuje DCT-I i DCT-II, a tehnika transformacije podržana u pravougaonom obliku može da uključuje DCT-I i DST-I.
[0057] Gornji primer može biti primer podrške tehnike transformacije prema jednom delu informacija kodiranja, a više delova informacija može biti povezano sa dodatnim podešavanjima podrške za tehniku transformacije u kombinaciji. Predmetni pronalazak nije ograničen na gornji primer, i mogu se izvršiti modifikacije. Takođe, deo za transformaciju može da isporuči informacije potrebne za generisanje bloka transformacije delu za kodiranje, tako da informacije budu kodirane. Deo za kodiranje dodaje odgovarajuće informacije u tok bitova i prenosi tok bitova u dekoder. Dekodirajući deo dekodera može raščlaniti informacije i koristiti raščlanjene informacije u procesu inverzne transformacije.
[0058] Deo za kvantizaciju može kvantovati ulazne signale. U ovom slučaju, signal dobijen procesom kvantizacije naziva se kvantovani koeficijent. Na primer, deo za kvantizaciju može kvantovati rezidualni blok sa rezidualnim koeficijentom transformacije koji se isporučuje iz dela za transformaciju a čime se dobija blok za kvantizaciju sa koeficijentom kvantizacije. U ovom slučaju, ulazni signal se određuje prema postavkama kodiranja i nije ograničen na rezidualni koeficijent transformacije.
[0059] Deo za kvantizaciju može da koristi tehniku kvantizacije kao što je uniformna skalarna kvantizacija sa mrtvom zonom, ponderisana matrica kvantizacije ili slično, za kvantizaciju transformisanog rezidualnog bloka. Međutim, predmetni pronalazak nije ograničen na to i mogu se koristiti različite tehnike kvantizacije koje su poboljšane i modifikovane. Da li treba podržati dodatnu tehniku kvantizacije može se odrediti u jedinicama sekvenci, slika, isečaka ili pločica, a povezane informacije se mogu generisati prema jedinicama. Kada je podržana dodatna tehnika kvantizacije, informacije o izboru tehnike kvantizacije mogu biti određene u blok jedinicama i povezane informacije se mogu generisati.
[0060] Kada je podržana dodatna tehnika kvantizacije, postavka tehnike kvantizacije može se odrediti prema najmanje jednoj informaciji kodiranja. U ovom slučaju, informacije o kodiranju mogu odgovarati tipu preseka, režimu kodiranja, veličini i obliku bloka, režimu predikcije, itd.
[0061] Na primer, deo za kvantizaciju može drugačije da postavi ponderisanu matricu kvantizacije koja odgovara modu kodiranja i ponderisanu matricu primenjenu u skladu sa interpredikcijom/intrapredikcijom. Takođe, deo za kvantizaciju može drugačije da postavi ponderisanu matricu primenjenu u skladu sa režimom intrapredikcije. U ovom slučaju, kada se pretpostavi da kvantizaciono ponderisana matrica ima veličinu M x N, koja je ista kao i veličina bloka kvantizacije, ponderisana matrica kvantizacije može biti matrica kvantizacije u kojoj su neke komponente kvantizacije drugačije konstruisane.
[0062] Proces kvantizacije može biti izostavljen u skladu sa postavkama kodiranja ili karakteristikama slike. Na primer, proces kvantizacije (uključujući inverzni proces) može biti izostavljen u skladu sa postavkama kodiranja (npr. na primer, u ovom primeru se pretpostavlja okruženje kompresije bez gubitaka). Kao drugi primer, proces kvantizacije može biti izostavljen kada performanse kompresije kroz kvantizaciju nisu prikazane prema karakteristikama slike. U ovom slučaju, neki ili svi regioni mogu biti izostavljeni, a da li će podržati izostavljanje može se odrediti prema veličini i obliku bloka.
[0063] Informacije o parametrima kvantizacije (QP) mogu se generisati u jedinicama sekvenci, slika, rezova, pločica ili blokova. Na primer, podrazumevani QP može biti postavljen u gornjoj jedinici u kojoj se QP informacije prvo generišu <1>, a QP se može postaviti na vrednost koja je ista ili drugačija od vrednosti QP postavljene u gornjoj jedinici. U procesu kvantizacije koji se izvodi u nekim jedinicama kroz proces, QP se može konačno odrediti. U ovom slučaju, jedinica kao što je sekvenca i slika može biti primer koji odgovara <1>, jedinica kao što je isečak, pločica i blok može biti primer koji odgovara <2>, a jedinica kao što je kao blok može biti primer koji odgovara <3>.
[0064] Informacije o QP mogu se generisati na osnovu QP u svakoj jedinici. Alternativno, unapred određeni QP može biti postavljen kao predviđena vrednost, a informacije u vezi sa razlikama u odnosu na QP u jedinicama mogu se generisati. Alternativno, QP dobijen na osnovu najmanje jednog od QP skupa u gornjoj jedinici, QP skupa u istoj i prethodnoj jedinici ili QP skupa u susednoj jedinici može biti postavljen kao predviđena vrednost, a informacije u vezi sa razlikom u odnosu na QP u trenutnoj jedinici mogu da se generišu. Alternativno, QP postavljen u gornjoj jedinici i QP dobijen na osnovu najmanje jednog dela informacije kodiranja mogu se postaviti kao predviđene vrednosti, a informacije o razlikama u odnosu na QP u trenutnoj jedinici mogu da se generišu. U ovom slučaju, ista i prethodna jedinica mogu biti jedinica koja se može definisati redosledom kodiranja jedinica, susedna jedinica može biti prostorno susedna jedinica, a informacija kodiranja može biti tip isečka, režim kodiranja, režim predikcije, informacije o lokaciji, itd., odgovarajuće jedinice.
[0065] Kao primer, QP u trenutnoj jedinici se može koristiti za zadavanje QP u gornjoj jedinici kao predviđene vrednosti i generisanje informacija o razlikama. Mogu se generisati informacije u vezi sa razlikom između QP skupa u isečku (slice) i QP skupa na slici ili se mogu generisati informacije o razlici između QP skupa u pločici (tile) i QP skupa na slici. Takođe, mogu se generisati informacije u vezi sa razlikom između QP skupa u bloku i QP skupa u isečku ili pločici.
Takođe, mogu se generisati informacije u vezi sa razlikom između QP skupa u podbloku i QP skupa u bloku.
[0066] Kao primer, QP u trenutnoj jedinici se može koristiti za zadavanje QP dobijenog na osnovu QP u najmanje jednoj susednoj jedinici ili QP u najmanje jednoj prethodnoj jedinici kao unapred zadatu vrednost i generisanje informacija o razlici. Informacije u vezi sa razlikom u odnosu na QP dobijene na osnovu QP susednog bloka, kao što je blok na levoj strani, gornja leva strana, donja leva strana, gornja strana, gornja desna strana i slično trenutni blok mogu se generisati. Alternativno, mogu se generisati informacije koje se odnose na razliku u odnosu na QP kodirane slike pre trenutne slike.
[0067] Kao primer, QP u trenutnoj jedinici se može koristiti za zadavanje QP u gornjoj jedinici i QP dobijenog na osnovu najmanje jednog dela informacija kodiranja kao unapred zadatih vrednosti i generisanja informacija o razlikama. Takođe, mogu se generisati informacije u vezi sa razlikom između QP u trenutnom bloku i QP isečka ispravljenog prema tipu isečka (I/P/B). Alternativno, mogu se generisati informacije u vezi sa razlikom između QP u trenutnom bloku i QP pločice ispravljene u skladu sa režimom kodiranja (intra/inter). Alternativno, mogu se generisati informacije u vezi sa razlikom između QP u trenutnom bloku i QP slike ispravljene u skladu sa režimom predikcije (usmerenost/neusmerenost). Alternativno, mogu se generisati informacije o razlici između QP u trenutnom bloku i QP slike ispravljene prema informacijama o lokaciji (x/y). U ovom slučaju, ispravka se može odnositi na operaciju dodavanja ili oduzimanja pomeraja na ili od QP u gornjoj jedinici koja se koristi za predikciju. U ovom slučaju, najmanje jedan deo informacije o pomeranju može biti podržan u skladu sa postavkama kodiranja, a informacije koje su implicitno obrađene ili eksplicitno povezane mogu da se generišu u skladu sa unapred određenim procesom. Predmetni pronalazak nije ograničen na gornji primer, i mogu se izvršiti modifikacije.
[0068] Gornji primer može biti primer koji je dozvoljen kada se obezbedi ili aktivira signal koji ukazuje na varijaciju QP. Na primer, kada signal koji ukazuje na varijaciju QP nije ni obezbeđen niti aktiviran, informacije o razlici se ne generišu, a predviđeni QP se može odrediti kao QP u svakoj jedinici. Kao drugi primer, kada se obezbedi ili aktivira signal koji ukazuje na varijaciju QP, generišu se informacije o razlici, a predviđeni QP se može odrediti kao QP u svakoj jedinici kada informacija o razlici ima vrednost 0.
[0069] Deo za kvantizaciju može da isporuči informacije potrebne za generisanje bloka kvantizacije delu za kodiranje tako da informacije budu kodirane. Deo za kodiranje dodaje odgovarajuće informacije u tok bitova i prenosi tok bitova u dekoder. Dekodirajući deo dekodera može raščlaniti informacije i koristiti raščlanjene informacije u procesu inverzne kvantizacije.
[0070] Gornji primer je opisan pod pretpostavkom da se rezidualni blok transformiše i kvantuje kroz deo za transformaciju i deo za kvantizaciju. Međutim, rezidualni signal rezidualnog bloka može se transformisati u rezidualni blok sa efikasnom transformacijom dok se proces kvantizacije ne izvodi. Alternativno, samo proces kvantizacije se može izvršiti dok se rezidualni signal rezidualnog bloka ne transformiše u koeficijent transformacije. Alternativno, ni proces transformacije ni proces kvantizacije se ne moraju izvesti. O ovome se može odlučiti prema podešavanjima kodiranja.
[0071] Deo za kodiranje može skenirati koeficijent kvantizacije, koeficijent transformacije ili rezidualni signal generisanog rezidualnog bloka u najmanje jednom redosledu skeniranja (npr. cikcak skeniranje, vertikalno skeniranje, horizontalno skeniranje, itd.), generisati niz koeficijenata kvantizacije, niz koeficijenta transformacije ili niz signala, i kodirati niz koeficijenata kvantizacije, niz koeficijenata transformacije ili niz signala koristeći najmanje jednu tehniku entropijskog kodiranja. U ovom slučaju, informacije u vezi sa redosledom skeniranja mogu da se odrede u skladu sa postavkama kodiranja (npr. režim kodiranja, režim predikcije, itd.) i mogu se koristiti za generisanje informacija koje su implicitno određene ili eksplicitno povezane. Na primer, jedan redosled skeniranja može biti izabran iz većeg broja redosleda skeniranja u skladu sa režimom intrapredikcije.
[0072] Takođe, deo za kodiranje može da generiše podatke kodiranja uključujući informacije o kodiranju koje se isporučuju iz svakog elementa i može da izbaci podatke kodiranja u toku bitova. Ovo se može implementirati pomoću multipleksera (MUX). U ovom slučaju, kodiranje se može izvršiti korišćenjem postupaka kao što su eksponencijalni Golomb kodovi, adaptivno kodiranje varijabilne dužine zasnovano na kontekstu (CAVLC) i kontekstualno prilagodljivo binarno aritmetičko kodiranje (CABAC) kao tehnika kodiranja. Međutim, predmetni pronalazak nije ograničen na to i mogu se koristiti različite tehnike kodiranja dobijene poboljšanjem i modifikacijom gornjih tehnika kodiranja.
[0073] Kada se entropijsko kodiranje (npr. CABAC u ovom primeru) izvodi na elementu sintakse kao što su informacije generisane kroz proces kodiranja/dekodiranja i podaci o rezidualnim blokovima, uređaj za entropijsko kodiranje može da uključuje binarizator, modelator konteksta i binarni aritmetički koder. U ovom slučaju, binarni aritmetički koder može da uključuje standardni mehanizam za kodiranje i mehanizam za zaobilazno kodiranje.
[0074] Unos sintaksnog elementa u uređaj za entropijsko kodiranje možda nije binarna vrednost. Dakle, kada elementi sintakse nisu binarne vrednosti, binarizator može da binarizuje elemente sintakse i izbacuje binarni niz znakova (niz binova) sastavljen od 0 ili 1. U ovom slučaju, bin predstavlja bit sastavljen od 0 ili 1 i može biti kodiran kroz binarni aritmetički koder. U ovom slučaju, jedan od standardnog mehanizma za kodiranje i mehanizma za zaobilazno kodiranje se može izabrati na osnovu verovatnoće pojave 0 i 1 i to se može odrediti prema podešavanjima kodiranja/dekodiranja. Kada je sintaktički element podatak koji ima frekvenciju 0 jednaku frekvenciji 1, može se koristiti mehanizama za zaobilazno kodiranje; u suprotnom, može se koristiti standardni mehanizam za kodiranje.
[0075] Kada je sintaktički element binarizovan, mogu se koristiti različiti postupci. Na primer, binarizacija fiksne dužine, unarna binarizacija, skraćena Rajs binarizacija, K-th Exp-Golomb binarizacija i slično mogu se koristiti. Takođe, binarizacija sa predznakom ili binarizacija bez predznaka može se izvršiti u zavisnosti od raspona vrednosti elementa sintakse. Proces binarizacije za elemente sintakse prema predmetnom pronalasku može uključiti dodatni postupak binarizacije kao i binarizaciju opisanu u gornjem primeru.
[0076] Deo za inverznu kvantizacijui deo za inverznu transformaciju mogu se implementirati inverznim izvođenjem procesa koji se obavljaju u delu transformacije i delu za kvantizaciju. Na primer, deo za inverznu kvantizacijumože inverzno da kvantuje koeficijent transformacije kvantovan delom za kvantizaciju, a deo za inverznu transformaciju može inverzno da transformiše inverzno kvantovani koeficijent transformacije da generiše rekonstruisani rezidualni blok.
[0077] Sabirač dodaje blok predikcije i rekonstruisani rezidualni blok da bi obnovio trenutni blok. Rekonstruisani blok može biti sačuvan u memoriji i može se koristiti kao referentni podatak (za deo predikcije, deo filtera, itd.).
[0078] Deo filtera za rekonstrukciju može dodatno da izvrši proces filtriranja naknadne obrade jednog ili više filtera za deblokiranje, adaptivnog pomeranja uzorka (SAO), filtera prilagodljive petlje (ALF) i slično. Filter za deblokiranje može ukloniti izobličenje bloka generisano na granici između blokova iz rekonstruisane slike. ALF može izvršiti filtriranje na osnovu vrednosti dobijene upoređivanjem ulazne slike sa rekonstruisanom slikom. Preciznije, ALF može izvršiti filtriranje na osnovu vrednosti dobijene upoređivanjem ulazne slike sa slikom koja je rekonstruisana nakon što je blok filtriran kroz filter za deblokiranje. Alternativno, ALF može izvršiti filtriranje na osnovu vrednosti dobijene upoređivanjem ulazne slike sa slikom rekonstruisanom nakon što je blok filtriran kroz SAO. SAO može da vrati razliku pomeranja na osnovu vrednosti dobijene upoređivanjem ulazne slike sa rekonstruisanom slikom i može se primeniti u obliku pomeranja opsega (BO), pomeranja ivice (EO) i slično. Preciznije, SAO može dodati pomak prema originalnoj slici rekonstruisanoj slici, na koju se primenjuje filter za deblokiranje, u jedinicama od najmanje jednog piksela i može se primeniti u obliku BO, EO i slično. Preciznije, SAO može dodati pomak u odnosu na originalnu sliku slici koja je rekonstruisana nakon što se blok filtrira kroz ALF u jedinicama piksela i može se primeniti u obliku BO, EO i slično.
[0079] Kao informacije o filtriranju, informacije o podešavanju u vezi sa podrškom za svaki filter za naknadnu obradu mogu se generisati u jedinicama sekvenci, slika, isečaka, pločica ili slično. Takođe, informacije o podešavanju u vezi sa izvršavanjem svakog filtera za naknadnu obradu mogu se generisati u jedinicama slika, isečaka, pločica, blokova ili slično. Opseg u kome se filter izvodi može se klasifikovati na unutrašnjost slike i granicu slike. Mogu se generisati informacije o podešavanju koje se odnose na klasifikaciju. Takođe, informacije u vezi sa operacijom filtriranja mogu se generisati u jedinicama slika, isečaka, pločica, blokova ili slično. Informacije se mogu implicitno ili eksplicitno obraditi, a nezavisni proces filtriranja ili zavisni proces filtriranja može se primeniti na filtriranje u zavisnosti od komponente boje, a to se može odrediti prema podešavanjima kodiranja. Deo filtera za rekonstrukciju može da isporuči informacije o filtriranju delu za kodiranje tako da informacije budu kodirane. Deo za kodiranje dodaje odgovarajuće informacije u tok bitova i prenosi tok bitova u dekoder. Dekodirajući deo dekodera može raščlaniti informacije i primeniti raščlanjene informacije na deo filtera za rekonstrukciju.
[0080] Memorija može da skladišti rekonstruisani blok ili sliku. Rekonstruisani blok ili slika uskladištena u memoriji može da se obezbedi delu za predviđanje, koji vrši intrapredikciju ili interpredikciju. Preciznije, za obradu, prostor u kojem se tok bitova komprimovan koderom čuva u obliku redova može se postaviti kao bafer kodirane slike (CPB), a prostor u kojem se dekodirana slika čuva u jedinicama slike može se postaviti kao bafer dekodirane slike (DPB). CPB može da skladišti delove za dekodiranje u redosledu dekodiranja, emulira operaciju dekodiranja u koderu i skladišti komprimovani tok bitova kroz proces emulacije. Izlazni tok bitova iz CPB-a se obnavlja kroz proces dekodiranja, a rekonstruisana slika se čuva u DPB-u, a slike sačuvane u DPB-u mogu se pozivati tokom procesa kodiranja/dekodiranja slike.
[0081] Deo za dekodiranje se može primeniti inverznim izvođenjem procesa dela kodiranja. Na primer, deo za dekodiranje može da primi niz koeficijenta kvantizacije, niz koeficijenta transformacije ili niz signala iz toka bitova, dekodira niz, analizira podatke dekodiranja uključujući informacije o dekodiranju i isporuči raščlanjene podatke za dekodiranje svakom elementu.
[0082] Sleće će biti opisan proces podešavanja slike koji se primenjuje na uređaj za kodiranje/dekodiranje slike prema jednoj realizaciji predmetnog pronalaska. Ovo je primer (početna podešavanja slike) primenjen pre kodiranja/dekodiranja, ali neki procesi mogu biti primeri koji se primenjuju na druge korake (npr. korake posle kodiranja/dekodiranja ili pod-korake kodiranja/dekodiranja). Proces podešavanja slike može se izvršiti uzimajući u obzir mrežno i korisničko okruženje kao što su karakteristike multimedijalnog sadržaja, propusni opseg, performanse korisničkog terminala i pristupačnost. Na primer, particionisanje slike, promena veličine slike, rekonstrukcija slike i slično mogu se izvesti u skladu sa postavkama kodiranja/dekodiranja. Sledeći opis procesa podešavanja slike fokusira se na pravougaonu sliku. Međutim, predmetni pronalazak nije ograničen na to i proces podešavanja slike se može primeniti na poligonalne slike. Ista podešavanja slike mogu se primeniti bez obzira na oblik slike ili mogu biti primenjena različita podešavanja slike, koja se mogu odrediti u skladu sa postavkama kodiranja/dekodiranja. Na primer, nakon provere informacija u vezi sa oblikom slike (npr. pravougaoni oblik ili nepravougaoni oblik), mogu se konstruisati informacije u vezi sa odgovarajućim podešavanjima slike.
[0083] Sledeći primer će biti opisan pod pretpostavkom da su zavisne postavke obezbeđene prostoru boja. Međutim, mogu se obezbediti nezavisna podešavanja za prostor boja. Takođe, u sledećem primeru, nezavisna podešavanja mogu da uključuju nezavisno obezbeđivanje podešavanja kodiranja/dekodiranja za svaki prostor boja. Iako je opisan jedan prostor boja, pretpostavlja se da je uključen primer u kojem je opis primenjen na drugi prostor boja (npr. primer u kojem se N generiše u komponenti hrominanse, kada se M generiše u komponenti osvetljenja), i ovo se može izvesti. Takođe, zavisna podešavanja mogu da uključuju primer u kojem su podešavanja napravljena proporcionalno odnosu kompozicije formata boja (npr. 4:4:4, 4:2:2, 4:2:0, itd.) (na primer, za 4:2:0, M/2 u komponenti hrominanse u slučaju M u komponenti osvetljenja). Pretpostavlja se da je uključen primer u kome se opis primenjuje na svaki prostor boja, i ovo se može izvesti. Ovaj opis nije ograničen na gornji primer i može se primeniti kao zajednički za predmetni pronalazak.
[0084] Neke konstrukcije u sledećem primeru mogu se primeniti na različite tehnike kodiranja kao što su kodiranje u prostornom domenu, kodiranje u frekvencijskom domenu, kodiranje zasnovano na blokovima, kodiranje zasnovano na objektima i slično.
[0085] Generalno, ulazna slika može biti kodirana ili dekodirana onakva kakva jeste ili nakon particionisanja slike. Na primer, particionisanje se može izvršiti radi otpornosti na greške ili slično kako bi se sprečila šteta uzrokovana gubitkom paketa tokom prenosa. Alternativno, particionisanje se može izvršiti da bi se klasifikovali regioni koji imaju različita svojstva na istoj slici u skladu sa karakteristikama, tipom slike i slično.
[0086] Prema predmetnom pronalasku, proces podele na particije slike može da uključuje proces podele na particije i inverzni proces podele na particije. Sledeći primer opisa će se fokusirati na proces podele na particije, ali inverzni proces podele na particije može biti inverzno izveden iz procesa particionisanja.
[0087] Slika 3 je primer dijagrama u kome su informacije o slici podeljene na slojeve kako bi se komprimovala slika.
[0088] Deo 3A je primer dijagrama u kome je sekvenca slika sastavljena od većeg broja GOP. Takođe, jedna GOP može biti sastavljena od I-slika, P-slika i B-slika, kao što je prikazano u delu 3B. Jedna slika može biti sastavljena od isečaka, pločica i slično, kao što je prikazano u delu 3C. Isečak, pločica ili slično mogu biti sastavljeni od više unapred zadatih delova za kodiranje, kao što je prikazano u delu 3D, a unapred zadati deo za kodiranje može biti sastavljen od najmanje jedne podjedinice za kodiranje, kao što je prikazano u delu 3E. Proces podešavanja slike prema predmetnom pronalasku biće opisan na osnovu primera koji treba primeniti na jedinicu kao što je slika, isečak i pločica, kao što je prikazano u delovima 3B i 3C.
[0089] Slika 4 je konceptualni dijagram koji prikazuje primere particionisanja slike prema jednoj realizaciji predmetnog pronalaska.
[0090] Deo 4A je konceptualni dijagram u kome je slika (npr. slika) bočno i uzdužno podeljena u pravilnim intervalima. Particionisani region se može nazvati blokom. Svaki blok može biti unapred zadati deo kodiranja (ili deo maksimalnog kodiranja) dobijen kroz deo za particionisanje slike i može biti osnovna jedinica koja se primenjuje na jedinicu za particionisanje, što će biti opisano u daljem tekstu.
[0091] Deo 4B je konceptualni dijagram u kome je slika podeljena u najmanje jednom pravcu izabranom iz bočnog i uzdužnog pravca. Particionisani regioni T0do T3mogu se nazvati pločicama, a svaki region može biti kodiran ili dekodiran nezavisno ili zavisno od drugih regiona.
[0092] Deo 4C je konceptualni dijagram u kome je slika podeljena u grupe uzastopnih blokova. Particionisani regioni S0i S1mogu se nazvati isečcima, a svaki region može biti kodiran ili dekodiran nezavisno ili zavisno od drugih regiona. Grupa uzastopnih blokova može biti definisana prema redosledu skeniranja. Generalno, grupa uzastopnih blokova je u skladu sa redosledom rasterskog skeniranja. Međutim, predmetni pronalazak nije ograničen na to, i grupa uzastopnih blokova može biti određena u skladu sa postavkama kodiranja/dekodiranja.
[0093] Deo 4D je konceptualni dijagram u kome je slika podeljena na grupe blokova u skladu sa bilo kojim korisnički definisanim podešavanjima. Podeljeni regioni A0do A2mogu se nazvati proizvoljnim particijama, a svaki region može biti kodiran ili dekodiran nezavisno ili zavisno od drugih regiona.
[0094] Nezavisno kodiranje/dekodiranje može označavati da kada se neke jedinice (ili regioni) kodiraju ili dekodiraju, podaci u drugim jedinicama ne mogu biti referencirani. Preciznije, delovi informacija koji se koriste ili generišu tokom kodiranja teksture i entropijskog kodiranja za neke jedinice mogu biti nezavisno kodirani bez referenci jedna na drugu. Čak i u dekoderu, za dekodiranje teksture i entropijsko dekodiranje za neke jedinice, informacije raščlanjivanja i informacije o rekonstrukciji u drugim jedinicama možda neće biti referencirane jedna na drugu. U ovom slučaju, da li referencirati podatke u drugim jedinicama (ili regionima) može biti ograničeno u prostornom regionu (npr. između regiona na jednoj slici), ali takođe može biti ograničeno u vremenskom regionu (npr. između uzastopnih slika ili između okvira) prema podešavanjima kodiranja/dekodiranja. Na primer, kada neke jedinice trenutne slike i neke jedinice druge slike imaju kontinuitet ili imaju isto okruženje kodiranja, može se napraviti referenca; u suprotnom, referenca može biti ograničena.
[0095] Takođe, zavisno kodiranje/dekodiranje može označavati da kada su neke jedinice kodirane ili dekodirane, podaci u drugim jedinicama mogu biti referencirani. Preciznije, delovi informacija koji se koriste ili generišu tokom kodiranja teksture i entropijskog kodiranja za neke jedinice mogu biti zavisno kodirani zajedno sa referencama jedna na drugu. Čak i u dekoderu, za dekodiranje teksture i entropijsko dekodiranje za neke jedinice, informacije raščlanjivanja i informacije o rekonstrukciji u drugim jedinicama mogu biti referencirane jedna na drugu. To jest, gornja podešavanja mogu biti ista ili slična onima za opšte kodiranje/dekodiranje. U ovom slučaju, da bi se identifikovao region (ovde lice <Face> i slično, generisano prema formatu projekcije), region se može podeliti prema karakteristikama, tipu i sličnom na slici (npr. slika od 360 stepeni).
[0096] U gornjem primeru, nezavisna podešavanja kodiranja/dekodiranja (npr. nezavisni segmenti preseka) mogu biti obezbeđena nekim jedinicama (isečak, pločica i slično), a zavisna podešavanja kodiranja/dekodiranja (npr. zavisni segmenti preseka) mogu biti obezbeđena drugim jedinicama. Prema predmetnom pronalasku, sledeći opis će se fokusirati na podešavanja nezavisnog kodiranja/dekodiranja.
[0097] Kao što je prikazano u delu 4A, unapred zadati deo kodiranja dobijen kroz deo za particionisanje slike može se podeliti na unapred zadate blokove kodiranja prema prostoru boja, i može imati veličinu i oblik određene u skladu sa karakteristikama i rezolucijom slike. Podržana veličina ili oblik bloka može biti N x N kvadrat (2”x2”; 256x256, 128x128, 64x64, 32x32, 16x16, 8x8, itd.; n je ceo broj u rasponu od 3 do 8) koji ima širinu i visinu predstavljene kao eksponent od 2 (2<n>) ili pravougaonik M x N (2<m>x2<n>). Na primer, ulazna slika može biti paticionisana na 128x128 za 8k UHD sliku, 64x64 za 1080p HD sliku ili 16x16 za WVGA sliku u zavisnosti od rezolucije i može biti particionisana na 256x256 za sliku od 360 stepeni u zavisnosti od tipa slike. Unapred zadati deo za kodiranje može se particionisati na podjedinice kodiranja i zatim kodirati ili dekodirati. Informacije u vezi sa unapred zadatim delom za kodiranje mogu se dodati u tok bitova u jedinicama sekvenci, slika, isečaka, pločica ili slično, i može ih raščlaniti dekoder da bi rekonstruisao povezane informacije.
[0098] Postupak kodiranja slike i postupak dekodiranja slike prema jednoj realizaciji predmetnog pronalaska mogu da uključuju sledeće korake particionisanja slike. U ovom slučaju, proces podele na particije slike može da uključuje korak indikacije particionisanja slike, korak identifikacije tipa particionisanja slike i korak izvođenja particionisanja slike. Takođe, uređaj za kodiranje slike i uređaj za dekodiranje slike mogu biti konfigurisani da uključuju deo za indikaciju particionisanja slike, deo za identifikaciju tipa particionisanja slike i deo za izvođenje particionisanja slike, koji obavljaju korak indikacije particionisanja slike, korak identifikacije tipa particionisanja slike i korak izvođenja particionisanja slike, tim redom. Za kodiranje može se generisati srodni sintaksni element. Za dekodiranje, srodni sintaksni element se može raščlaniti.
[0099] U procesu blok particionisanja, kao što je prikazano u delu 4A, deo za indikaciju particionisanja slike može biti izostavljen. Deo za identifikaciju tipa particionisanja slike može da proveri informacije u vezi sa veličinom i oblikom bloka, a deo za particionisanje slike može da izvrši particionisanje kroz identifikovane informacije o tipu particionisanja u unapred zadatim delovima kodiranja.
[0100] Blok može biti jedinica koja se uvek particioniše, ali da li će se particionisati druge jedinice za particionisanje (pločice, isečci i slično) može se odrediti u skladu sa postavkama kodiranja/dekodiranja. Kao unapred zadata podešavanja, deo za particionisanje slike može da izvrši particionisanje u blok jedinicama, a zatim da izvrši particionisanje u drugim jedinicama. U ovom slučaju, particionisanje blokova se može izvršiti na osnovu veličine slike.
[0101] Takođe, particionisanje se može izvršiti u blok jedinicama nakon što se izvrši u drugim jedinicama (pločice, isečci ili slično). To jest, blok particionisanje se može izvršiti na osnovu veličine jedinice za particionisanje. Ovo se može odrediti eksplicitnom ili implicitnom obradom u skladu sa postavkama kodiranja/dekodiranja. Sledeći opis primera pretpostavlja prethodni slučaj i takođe se fokusira na jedinice koje nisu blokovi.
[0102] U koraku indikacije particionisanja slike, može se odrediti da li da se izvrši particionisanje slike. Na primer, kada se potvrdi signal koji ukazuje na particionisanje slike (npr. tiles_enabled_flag), particionisanje se može izvršiti. Kada signal koji ukazuje na particionisanje slike nije potvrđen, particionisanje se možda neće izvršiti ili se particionisanje može izvršiti potvrđivanjem drugih informacija o kodiranju/dekodiranju.
[0103] Preciznije, pretpostavlja se da je signal koji ukazuje na particionisanje slike (npr. tiles_enabled_flag) potvrđen. Kada je signal aktiviran (npr. tiles_enabled_flag = 1), particionisanje se može izvršiti u većem broju jedinica. Kada je signal deaktiviran (npr. tiles_enabled_flag = 0), particionisanje možda neće biti izvršeno. Alternativno, signal koji ukazuje na to da particionisanje slike nije potvrđeno može značiti da particionisanje nije izvršeno ili da se vrši u najmanje jednoj jedinici. Da li treba izvršiti particionisanje u većem broju jedinica može se potvrditi preko drugog signala (npr. first_slice_segment_in_pic_flag).
[0104] Ukratko, kada je obezbeđen signal koji ukazuje na particionisanje slike, odgovarajući signal je signal za indikaciju da li da se izvrši particionisanje u većem broju jedinica. Na osnovu signala može se odrediti da li da se odgovarajuća slika particioniše. Na primer, pretpostavlja se da je tiles_enabled_flag signal koji ukazuje da li treba particionisati sliku. Ovde, tiles_enabled_flag jednak 1 može da znači da je slika podeljena na više pločica, a tiles_enabled_flag jednak 0 može da znači da slika nije particionisana.
[0105] Ukratko, kada signal koji ukazuje na particionisanje slike nije obezbeđen, particionisanje možda neće biti izvršeno, ili se da li će se odgovarajuća slika podeliti može odrediti drugim signalom. Na primer, zastavica prvog preseka segment_in_pic nije signal koji ukazuje da li treba da se izvrši particionisanje slike, već signal koji ukazuje na prvi segment preseka na slici. Dakle, može se potvrditi da li da se izvrši particionisanje na dve ili više jedinica (npr. zastavica 0 označava da je slika podeljena na više delova).
[0106] Predmetni pronalazak nije ograničen na gornji primer, i mogu se izvršiti modifikacije. Na primer, signal koji ukazuje na particionisanje slike možda neće biti obezbeđen za svaku pločicu a može biti obezbeđen za svaki presek. Alternativno, signal koji ukazuje na particionisanje slike može biti obezbeđen na osnovu tipa, karakteristika slike i sličnog.
[0107] U koraku identifikacije tipa particionisanja slike, može se identifikovati tip particionisanja slike. Tip particionisanja slike može biti definisan postupkom particionisanja, informacijama o particionisanju i slično.
[0108] U delu 4B, pločica se može definisati kao jedinica dobijena bočnim i uzdužnim particionisanjem. Preciznije, pločica se može definisati kao grupa susednih blokova u četvorougaonom prostoru podeljenom najmanje jednom bočnom ili uzdužnom linijom za particionisanje koja prolazi kroz sliku.
[0109] Informacije o podeli na particije pločica mogu da uključuju informacije o lokaciji granice za kolonu i red, informacije o broju pločica za kolonu i red, informacije o veličini pločice i slično.
Informacije o broju pločica mogu da uključuju broj kolona za pločice (npr. num_tile_columns) i broj redova za pločice (npr. num_tile_rows). Dakle, slika može biti particionisana na određeni broj (= broj kolona x broj redova) pločica. Informacije o veličini pločice mogu se dobiti na osnovu informacija o broju pločice. Širina ili visina pločice može biti ujednačena ili neujednačena, pa prema unapred određenim pravilima, povezane informacije (npr. uniform_spacing_flag) mogu biti implicitno određene ili eksplicitno generisane. Takođe, informacije o veličini pločice mogu da uključuju informacije o veličini svake kolone i svakog reda pločica (npr. column_width_tile[i] and row_height_tile[i]) ili da uključuju informacije o veličini širine i visine svake pločice. Takođe, informacije o veličini mogu biti informacije koje se mogu dodatno generisati prema tome da li je veličina pločice ujednačena (npr. kada je particionisanje neujednačeno jer je uniform_spacing_flag 0).
[0110] U delu 4C, isečak se može definisati kao jedinica grupisanja uzastopnih blokova. Preciznije, isečak se može definisati kao grupa uzastopnih blokova u unapred određenom redosledu skeniranja (ovde, rasterskog skeniranja).
[0111] Informacije o podeli na particije isečaka mogu da uključuju informacije o broju isečaka, informacije o lokaciji isečaka (npr. slice_segment_address) i slično. U ovom slučaju, informacija o lokaciji preseka može biti informacija o lokaciji unapred određenog bloka (npr. prvi rang po redosledu skeniranja u isečku). U ovom slučaju, informacije o lokaciji mogu biti informacije o redosledu skeniranja bloka.
[0112] U delu 4D, različite postavke particionisanja su dozvoljene za proizvoljnu particiju.
[0113] U delu 4D, jedinica za particionisanje se može definisati kao grupa blokova koji su prostorno susedni jedan drugom, a informacije u vezi sa podelom na particije mogu da uključuju informacije o veličini, obliku i lokaciji jedinice za particionisanje. Ovo je samo primer proizvoljne particije, i mogu biti dozvoljeni različiti oblici podele na particije kao što je prikazano na Sl.5.
[0114] Slika 5 je još jedan primer dijagrama postupka podele na particije slike prema jednoj realizaciji predmetnog pronalaska.
[0115] U delovima 5A i 5B, slika može biti bočno ili uzdužno podeljena na više regiona u najmanje jednom blok intervalu, a podele na particije može se izvršiti na osnovu informacija o lokaciji bloka. Deo 5A prikazuje primere A0i A1gde se podela na particije vrši bočno na osnovu informacija o redu svakog bloka, a deo 5B prikazuje primere B0do B3gde se podela na particije vrši bočno i uzdužno na osnovu informacija o kolonama i informacija o redovima svakog bloka. Informacije u vezi sa podelom na particije mogu da uključuju broj jedinica za particionisanje, informacije o intervalu bloka, pravac podele na particije, itd., a kada su informacije o podeli na particije implicitno uključene u skladu sa unapred određenim pravilom, neke od informacija o particionisanju možda neće biti generisane.
[0116] U delovima 5C i 5D, slika može biti podeljena u grupe uzastopnih blokova po redosledu skeniranja. Dodatni redosled skeniranja koji nije uobičajeni redosled rasternog skeniranja isečka može se primeniti na particionisanje slike. Deo 5C prikazuje primere C0i C1gde se skeniranje vrši u smeru kazaljke na satu ili suprotno od kazaljke na satu u odnosu na početni blok (Bok-Out), a deo 5D prikazuje primere D0i D1gde se skeniranje vrši vertikalno u odnosu na početni blok (Vertikalno). Informacije u vezi sa podelom na particije mogu da uključuju informacije o broju jedinica za particionisanje, informacije o lokacijama jedinica za particionisanje (npr. prvi rang po redosledu skeniranja u jedinici za particionisanje), informacije o redosledu skeniranja i slično, i kada su informacije o particionisanju implicitno uključene u skladu sa unapred određenim pravilom, neke od informacija o particionisanju možda neće biti generisane.
[0117] U delu 5E, slika se može podeliti pomoću bočnih i uzdužnih particionih linija. Postojeća pločica se može pregraditi bočnom ili uzdužnom particionom linijom. Dakle, particionisanje može biti izvedeno u obliku četvorougaonog prostora, ali možda neće biti moguće podeliti sliku pomoću particione linije. Na primer, primer u kojem je slika podeljena na particije nekim linijama za particionisanje slike (npr. particionom linijom između leve granice E5 i desne granice E1, E3 i E4) može biti moguć, a primer u kome je slika podeljena na particije nekim linijama za particionisanje slike (npr. linijom razdvajanja između donje granice E2 i E3 i gornje granice E4) može biti nemoguće. Takođe, podela na particije se može izvršiti na osnovu blok jedinice (npr. nakon što se prvo izvrši blok particionisanje) ili može biti izvedeno bočnom ili uzdužnom particionom linijom (npr. particionisanje se vrši particionom linijom, bez obzira na particionisanje bloka). Dakle, svaka jedinica za particionisanje ne mora biti množač bloka. Tako se mogu generisati informacije o particionisanju različite od one postojeće pločice, a informacije o particionisanju mogu da uključuju informacije o broju jedinica za particionisanje, informacije u vezi sa lokacijama jedinica za particionisanje, informacije u vezi sa veličinama jedinica za particionisanje, itd. na primer, informacije u vezi sa lokacijama jedinica za particionisanje mogu da se generišu kao informacije o lokaciji (npr. koje se mere u jedinicama piksela ili u blok jedinicama) na osnovu unapred određene lokacije (npr. u gornjem levom uglu slike), a informacije u vezi sa veličinama jedinica za particionisanje mogu se generisati kao informacije u vezi sa širinom i visinom svake jedinice za particionisanje (npr. koja se meri u jedinicama piksela ili u blok jedinicama).
[0118] Kao u gornjem primeru, particionisanje prema bilo kojim korisnički definisanim postavkama može se izvršiti primenom novog postupka podele na particije ili promenom nekih elemenata postojeće podele na particije. To jest, postupak particionisanja može biti podržan zamenom ili dodavanjem konvencionalnom postupku particionisanja i može biti podržan promenom nekih podešavanja konvencionalnog postupka particionisanja (isečak, pločica, itd.) (npr. prema drugom redosledu skeniranja, korišćenjem drugog postupka particionisanja u obliku četvorougla za generisanje drugih informacija o particionisanju, ili prema zavisnim karakteristikama kodiranja/dekodiranja). Takođe, podešavanja za konfigurisanje dodatne jedinice za particionisanje (npr. podešavanja koja nisu particionisanje prema redosledu skeniranja ili particionisanje prema određenoj razlici intervala) mogu biti podržana, kao i dodatni oblik jedinice za particionisanje (npr. poligonalni oblik kao što je trougao osim podele na četvorougaoni prostor) mogu biti podržani. Takođe, postupak particionisanja slike može biti podržan na osnovu tipa, karakteristika slike i sličnog. Na primer, postupak delimične particije (npr. lice slike od 360 stepeni) može biti podržan prema tipu, karakteristikama slike i sličnom. Informacije u vezi sa podelom na particije mogu se generisati na osnovu podrške.
[0119] U koraku izvođenja podele slike na particije, slika može biti particionisana na osnovu identifikovanih informacija o tipu particionisanja. To jest, slika može biti podeljena na više jedinica za particionisanje na osnovu identifikovanog tipa particionisanja i može biti kodirana ili dekodirana na osnovu dobijenih jedinica za particionisanje.
[0120] U ovom slučaju, da li će imati postavke kodiranja/dekodiranja u svakoj jedinici za particionisanje može se odrediti u zavisnosti od tipa particionisanja. To jest, informacije o podešavanju koje su potrebne tokom procesa kodiranja/dekodiranja za svaku jedinicu za particionisanje mogu biti dodeljene gornjom jedinicom (npr. slika) ili se mogu obezbediti nezavisna podešavanja kodiranja/dekodiranja za svaku jedinicu za particionisanje.
[0121] Generalno, isečak može imati nezavisna podešavanja kodiranja/dekodiranja (npr. zaglavlje isečka) za svaku jedinicu za particionisanje, a pločica ne može imati nezavisna podešavanja kodiranja/dekodiranja za svaku jedinicu za particionisanje i može imati podešavanja zavisna od podešavanja kodiranja/dekodiranja slike (npr. PPS). U ovom slučaju, informacije generisane u vezi sa pločicom mogu biti informacije o particionisanju i mogu biti uključene u postavke kodiranja/dekodiranja slike. Predmetni pronalazak nije ograničen na gornji primer, i mogu se izvršiti modifikacije.
[0122] Informacije o podešavanju kodiranja/dekodiranja za pločicu mogu se generisati u jedinicama video zapisa, sekvenci, slika ili slično. Najmanje jedan deo informacije o podešavanju kodiranja/dekodiranja se generiše u gornjoj jedinici, a jedan deo generisanih informacija o podešavanju kodiranja/dekodiranja može biti referenciran. Alternativno, informacije o podešavanju nezavisnog kodiranja/dekodiranja (npr. zaglavlje pločice) mogu da se generišu u jedinicama pločica. Ovo se razlikuje od slučaja praćenja jedne postavke kodiranja/dekodiranja određene u gornjoj jedinici u kojoj se izvodi kodiranje/dekodiranje dok je najmanje jedno podešavanje kodiranja/dekodiranja obezbeđeno u jedinicama pločica. Odnosno, sve pločice mogu biti kodirane ili dekodirane u skladu sa istim postavkama kodiranja/dekodiranja, ili barem jedna pločica može biti kodirana ili dekodirana prema različitim postavkama kodiranja/dekodiranja od onih drugih pločica.
[0123] Gornji primer se fokusira na različite postavke kodiranja/dekodiranja u pločici. Međutim, predmetni pronalazak nije ograničen na to, i ista ili slična podešavanja se mogu primeniti čak i na druge tipove particionisanja.
[0124] Kao primer, u nekim tipovima particionisanja, informacije o particionisanju mogu da se generišu u gornjoj jedinici, a kodiranje ili dekodiranje se može izvršiti u skladu sa jednom postavkom kodiranja/dekodiranja gornje jedinice.
[0125] Kao primer, u nekim tipovima particionisanja, informacije o particionisanju mogu da se generišu u gornjoj jedinici, i mogu da se generišu nezavisna podešavanja kodiranja/dekodiranja za svaku jedinicu za particionisanje u gornjoj jedinici, a kodiranje ili dekodiranje se može izvršiti u skladu sa generisanim podešavanjima kodiranja/dekodiranja.
[0126] Kao primer, u nekim tipovima particionisanja, informacije o particionisanju mogu da se generišu u gornjoj jedinici, a više delova informacija o podešavanju kodiranja/dekodiranja može biti podržano u gornjoj jedinici. Kodiranje ili dekodiranje se može izvršiti u skladu sa postavkama kodiranja/dekodiranja na koje upućuje svaka jedinica za particionisanje.
[0127] Kao primer, u nekim tipovima particionisanja, informacije o particionisanju mogu da se generišu u gornjoj jedinici, a nezavisna podešavanja kodiranja/dekodiranja mogu da se generišu u odgovarajućim jedinicama za particionisanje. Kodiranje ili dekodiranje se može izvršiti u skladu sa generisanim postavkama kodiranja/dekodiranja.
[0128] Kao primer, u nekim tipovima particionisanja, nezavisna podešavanja kodiranja/dekodiranja, uključujući informacije o particionisanju, mogu da se generišu u odgovarajućim jedinicama za particionisanje, a kodiranje ili dekodiranje se može izvršiti u skladu sa generisanim postavkama kodiranja/dekodiranja.
[0129] Informacije o podešavanju kodiranja/dekodiranja mogu da uključuju informacije potrebne za kodiranje ili dekodiranje pločice, kao što je tip pločice, informacije u vezi sa referentnom listom slika, informacije o parametrima kvantizacije, informacije o podešavanju interpredikcije, informacije o podešavanju filtriranja za rekonstrukciju, kontrolne informacije o filtriranju za rekonstrukciju, redosled skeniranja, da li da se izvrši kodiranje ili dekodiranje i slično. Informacije o podešavanju kodiranja/dekodiranja mogu se koristiti za eksplicitno generisanje povezanih informacija ili mogu imati postavke kodiranja/dekodiranja koje su implicitno određene prema formatu, karakteristikama slike i sličnom koje su određene u gornjoj jedinici. Takođe, povezane informacije mogu biti eksplicitno generisane na osnovu informacija dobijenih kroz podešavanja.
[0130] Sledeći će biti opisan primer u kome se particionisanje slike vrši u uređaju za kodiranje/dekodiranje prema jednoj realizaciji predmetnog pronalaska.
[0131] Proces podele na particije se može izvršiti na ulaznoj slici pre nego što se započne kodiranje. Slika može biti podeljena na particije korišćenjem informacija o particionisanju (npr. informacija o particionisanju slike, informacija o podešavanju jedinice za particionisanje, itd.), a zatim može biti kodirana u jedinicama za particionisanje. Podaci za kodiranje slike mogu biti sačuvani u memoriji nakon što je kodiranje završeno, i mogu se dodati u tok bitova i zatim emitovati.
[0132] Proces podele na particije se može izvršiti pre nego što se započne dekodiranje. Slika može biti particionisana korišćenjem informacija o particionisanju (npr. informacija o particionisanju slike, informacija o podešavanju jedinice za particionisanje, itd.), a zatim podaci za dekodiranje slike mogu da se raščlane i dekodiraju u jedinicama za particionisanje. Podaci za dekodiranje slike mogu biti uskladišteni u memoriji nakon što je dekodiranje završeno, a veći broj jedinica za particionisanje se spaja u jednu jedinicu, i na taj način se slika može emitovati.
[0133] Kroz gornji primer, opisan je proces podele na particije slike. Takođe, prema predmetnom pronalasku, može se izvesti više procesa podela na particije.
[0134] Na primer, slika može biti podeljena, a jedinice za particionisanje slike mogu biti particionisane. Particionisanje može biti isti proces podele na particije (npr. isečak/isečak, pločica/pločica, itd.) ili drugačiji proces podele na particije (npr. isečak/pločica, pločica/isečak, pločica/lice, lice/naslov, isečak/lice, lice/isečak, itd.). U ovom slučaju, sledeći proces podele na particije se može izvršiti na osnovu prethodnog rezultata particionisanja, a informacije o particionisanju generisane tokom sledećeg procesa podele na particije mogu se generisati na osnovu prethodnog rezultata particionisanja.
[0135] Takođe, može se izvesti više procesa podele na particije A, a proces podele na particije može biti drugačiji proces podele na particije (npr. isečak/lice, pločica/lice i slično). U ovom slučaju, sledeći proces podele na particije se može izvršiti na osnovu ili nezavisno od prethodnog rezultata particionisanja, a informacije o particionisanju generisane tokom sledećeg procesa podele na particije mogu se generisati na osnovu ili nezavisno od prethodnog rezultata particionisanja.
[0136] Veći broj procesa particionisanja slike može se odrediti prema postavkama kodiranja/dekodiranja. Međutim, predmetni pronalazak nije ograničen na gornji primer i mogu se izvršiti različite modifikacije.
[0137] Koder može dodati informacije generisane tokom gornjeg procesa u tok bitova u jedinicama najmanje jedne od sekvenci, slika, isečaka, pločica i slično, a dekoder može raščlaniti povezane informacije iz toka bitova. To jest, informacije se mogu dodati jednoj jedinici i mogu se duplirati i dodati u više jedinica. Na primer, u nekim jedinicama (npr. gornja jedinica) može se generisati element sintakse koji pokazuje da li treba podržati neku informaciju ili element sintakse koji pokazuje da li treba izvršiti aktivaciju, a iste ili slične informacije mogu da se generišu u nekim jedinicama (npr. niža jedinica). To jest, čak i kada su povezane informacije podržane i postavljene u gornjoj jedinici, donja jedinica može imati individualna podešavanja. Ovaj opis nije ograničen na gornji primer i može se primeniti kao zajednički za predmetni pronalazak. Takođe, informacije mogu biti uključene u tok bitova u obliku SEI ili metapodataka.
[0138] Generalno, ulazna slika može biti kodirana ili dekodirana onakva kakva jeste, ali se kodiranje ili dekodiranje može izvršiti nakon što se slika promeni (proširi ili smanji; podesi rezolucija). Na primer, u hijerarhijskoj shemi kodiranja (Scalability Video Coding) za podršku prostorne, vremenske i skalabilnosti kvaliteta slike, može se izvršiti promena veličine slike kao što je celokupno proširenje i smanjenje slike. Alternativno, promena veličine slike se može izvršiti kao što je delimično proširenje i smanjenje slike. Promena veličine slike može se vršiti na različite načine, odnosno može se vršiti u cilju prilagodljivosti okruženjima kodiranja, u cilju uniformnosti kodiranja, u cilju efikasnosti kodiranja, u cilju poboljšanja kvaliteta slike ili prema vrsti, karakteristikama slike i slično.
[0139] Kao prvi primer, proces promene veličine se može izvršiti tokom procesa koji se izvodi prema karakteristikama, tipu slike i sličnom (npr. hijerarhijsko kodiranje, kodiranje slike od 360 stepeni, itd.).
[0140] Kao drugi primer, proces promene veličine se može izvesti u početnom koraku kodiranja/dekodiranja. Proces promene veličine se može izvršiti pre nego što se izvrši kodiranje ili dekodiranje. Slika promenjene veličine može biti kodirana ili dekodirana.
[0141] Kao treći primer, proces promene veličine se može izvršiti tokom koraka predikcije (intrapredikcije ili interpredikcije) ili pre predikcije. Tokom procesa promene veličine, informacije o slici (npr. informacije u vezi sa pikselom referenciranim za intrapredikciju, informacije koje se odnose na režim intrapredikcije, informacije u vezi sa referentnim slikama koje se koriste za interpredikciju, informacije koje se odnose na interpredikcioni režim predikcije, itd.) mogu se koristiti u koraku predikcije.
[0142] Kao četvrti primer, proces promene veličine može se izvršiti tokom koraka filtriranja ili pre filtriranja. U procesu promene veličine, mogu da se koriste informacije o slici u koraku filtriranja (npr. informacije o pikselima koje treba primeniti na filter za deblokiranje, informacije o pikselima koje treba primeniti na SAO, informacije u vezi sa SAO filtriranjem, informacije o pikselima primenjene na ALF, informacije koje se odnose na ALF filtriranje, i slično).
[0143] Takođe, nakon što se izvrši proces promene veličine, slika može biti obrađena kroz inverzni proces promene veličine i promenjena u sliku pre promene veličine (u smislu veličine slike) ili može ostati nepromenjena. Ovo se može odrediti prema podešavanjima kodiranja/dekodiranja (npr. karakteristike u kojima se vrši promena veličine). U ovom slučaju, proces promene veličine može biti proces proširenja, dok je proces inverzne promene veličine proces smanjenja, a može biti proces smanjenja dok je proces inverzne promene veličine proces proširenja.
[0144] Kada se proces promene veličine izvodi u skladu sa primerima od prvog do četvrtog, inverzni proces promene veličine se izvodi u sledećem koraku tako da se može dobiti slika od pre promene veličine.
[0145] Kada se proces promene veličine izvodi kroz hijerarhijsko kodiranje ili prema trećem primeru (ili kada se referentna slika menja u interpredikciji), proces inverzne promene veličine možda neće biti izveden u sledećem koraku.
[0146] U jednoj realizaciji predmetnog pronalaska, proces promene veličine slike može se izvesti isključivo ili zajedno sa inverznim procesom. Sledeći primer opisa će se fokusirati na proces promene veličine. U ovom slučaju, pošto je proces inverzne promene veličine inverzan proces za proces promene veličine, opis procesa inverzne promene veličine će biti izostavljen kako bi se sprečili suvišni opisi. Međutim, očigledno je da stručnjaci u tehnici mogu da prepoznaju iste stvari koje su doslovno opisane.
[0147] Slika 6 je primer dijagrama opšteg postupka promene veličine slike.
[0148] Uz upućivanje na Sl. 6A, proširena slika P0+P1može se dobiti dodavanjem određenog regiona P1na početnu sliku P0(ili slici pre promene veličine; što je označeno debelom punom linijom).
[0149] Uz upućivanje na Sl.6B, smanjena slika S0može se dobiti uklanjanjem specifičnog regiona S1sa početne slike S0+S1.
[0150] Uz upućivanje na Sl.6C, slika T0+T1može se dobiti dodavanjem specifičnog regiona T1na početnu sliku T0+T2i uklanjanje određenog regiona T2iz cele slike.
[0151] Prema predmetnom pronalasku, sledeći opis se fokusira na proces promene veličine za proširenje i proces promene veličine za smanjenje. Međutim, predmetni pronalazak nije ograničen na to, i podrazumeva se da uključuje slučaj u kome se proširenje i smanjenje primenjuju u kombinaciji, kao što je prikazano na Sl.6C.
[0152] Slika 7 je primer dijagrama promene veličine slike prema jednoj realizaciji predmetnog pronalaska.
[0153] Tokom procesa promene veličine, postupak proširenja slike će biti opisan u odnosu na deo 7A, a postupak smanjenja slike će biti opisan u odnosu na deo 7B.
[0154] U delu 7A, slika pre promene veličine je S0, a slika posle promene veličine je S1. U delu 7B, slika pre promene veličine je T0, a slika posle promene veličine je T1.
[0155] Kada se slika proširi kao što je prikazano u delu 7A, slika se može proširiti u smeru „gore” ET, smeru „dole” EL, smeru „levo” EB ili smeru „desno” ER. Kada se slika smanji kao što je prikazano u delu 7B, slika se može smanjiti u smeru „gore” RT, smeru „dole” RL, smeru „levo” RB ili smeru „desno” RR.
[0156] Upoređujući proširenje slike i smanjenje slike, smer „gore”, smer „dole”, smer „levo” i smer „desno” proširenja mogu odgovarati smeru „dole”, smeru „gore”, smeru „desno„ i smeru „levo” smanjenja. Dakle, sledeći opis se fokusira na proširenje slike, ali treba razumeti da je uključen i opis smanjenja slike.
[0157] U sledećem opisu, proširenje ili smanjenje slike se vrši u smeru „gore”, „dole”, „levo” i „desno”. Međutim, takođe treba razumeti da se promena veličine može izvršiti u smeru „gore i levo”, smeru „gore i desno”, smeru „dole i levo” ili „dole i desno”.
[0158] U ovom slučaju, kada se proširenje vrši u smeru „dole i desno”, regioni RC i BC se dobijaju, a region BR može, ali ne mora biti dobijen u skladu sa postavkama kodiranja/dekodiranja. To jest, regioni TL, TR, BL i BR mogu, ali i ne moraju biti dobijeni, ali zbog pogodnosti opisa, regioni uglova (tj. regioni TL, TR, BL i BR) će biti opisani kao oni koji mogu biti dobijeni.
[0159] Proces promene veličine slike prema jednoj realizaciji predmetnog pronalaska može se izvesti u najmanje jednom smeru. Na primer, proces promene veličine slike može da se izvede u svim smerovima kao što su gore, dole, levo i desno, može se da se izvede u dva ili više smerova izabranih iz gore, dole, levo i desno (levo+desno, gore+dole, gore+levo, gore+desno, dole+levo, dole+desno, gore+levo+desno, dole+levo+desno, gore+dole+levo, gore+dole+desno, itd.), ili se može izvesti u samo jednom smeru izabranom iz gore, dole, levo i desno.
[0160] Na primer, promena veličine se može izvesti u smeru „levo+desno”, „gore+dole”, „levo i gore desno i dole” i „levo i dole desno i gore”, koji su simetrično proširivi na oba kraja u odnosu na centar slike, može se izvesti u smeru „levo+desno”, smeru „levo i gore desno gore” i smeru „levo i dole desno i dole”, koji su vertikalno simetrično proširivi u odnosu na sliku, i može se izvesti u smeru „gore dole”, smeru „levo i gore levo i dole” i smeru „desno i gore desno i dole”, koji su horizontalno simetrično proširivi u odnosu na sliku. Može se izvesti i druga promena veličine.
[0161] U delovima 7A i 7B, veličina slike pre promene veličine S0 ili T0 je definisana kao P_Width x P_Height, a veličina slike nakon promene veličine S1 ili T1 je definisana kao P’_Width x P’_Height. Ovde, kada menjate veličinu, vrednosti u smeru „levo”, smeru „desno”, smeru „gore” i smeru „dole” su definisane kao Var_L, Var_R, Var_T, i Var_B (ili zajedno definisani kao Var_x), veličina slike nakon promene veličine može se izraziti kao P_Width Var_L
Var_R) x (P_Height Var_T Var_B). U ovom slučaju, Var_L, Var_R, Var_T i Var_B, koje su vrednosti promene veličine u pravcu „levo”, „desno”, „gore” i „dole”, mogu biti Exp_L, Exp_R, Exp_T, i Exp_B (ovde je Exp_x pozitivan) za proširenje slike (u delu 7A) i mogu biti -Rec_L, -Rec_R, -Rec_T i -Rec_B za smanjenje slike (što je predstavljeno kao negativne vrednosti za smanjenje slike kada su Rec_L, Rec_R, Rec_T i Rec_B definisani kao pozitivne vrednosti). Takođe, gornje leve koordinate, gornje desne koordinate, donje leve koordinate i donje desne koordinate slike pre promene veličine mogu biti (0,0), (P_Width-1,0), (0,P_Height-1), i (P_Width-1,P_Height-1), a gornje leve koordinate, gornje desne koordinate, donje leve koordinate i donje desne koordinate slike nakon promene veličine mogu biti predstavljene kao (0,0), (P’_Width-1,0), (0,P’_Height-1), i (P’_Width-1,P’_Height-1). Veličina regiona (ovde, TL u BR; i je indeks za identifikaciju TL u BR) koji se menja (ili dobija ili uklanja) kroz promenu veličine može biti M[i] x N[i] i može se predstaviti kao Var_X x Var_Y (ovaj primer pretpostavlja da X je L ili R a Y je T ili B). M i N mogu imati različite vrednosti i mogu imati ista podešavanja bez obzira na i ili mogu imati pojedinačna podešavanja prema i. Različiti primeri će biti opisani u daljem tekstu.
[0162] Uz upućivanje na deo 7A, S1 može biti konfigurisan da uključuje neke ili sve regione TL do BR (gore levo do dole desno), koji treba da se generišu kroz proširenje na S0 u nekoliko pravaca. Uz upućivanje na deo 7B, T1 može biti konfigurisan da isključi, iz T0, sve ili neke od regiona TL do BR, koje treba ukloniti redukcijom u nekoliko pravaca.
[0163] U delu 7A, kada se postojeća slika S0 proširi u smeru „gore”, „dole”, „levo” i „desno”, slika može da uključuje regione TC, BC, LC i RC dobijene kroz procese promene veličine i može dalje da uključuje regione TL, TR, BL i BR.
[0164] Na primer, kada se proširenje vrši u smeru „gore” ET, slika se može konstruisati dodavanjem regiona TC postojećoj slici S0 i može da uključuje region TL ili TR zajedno sa proširenjem u najmanje jednom drugom smeru EL ili ER.
[0165] Na primer, kada se proširenje vrši u smeru „dole” EB, slika se može konstruisati dodavanjem regiona BC postojećoj slici S0 i može da uključuje region BL ili BR zajedno sa proširenjem u najmanje jednom drugom smeru EL ili ER.
[0166] Na primer, kada se proširenje vrši u smeru „levo” EL, slika se može konstruisati dodavanjem regiona LC postojećoj slici S0 i može da uključuje region TL ili BL zajedno sa proširenjem u najmanje jednom drugom smeru ET ili EB.
[0167] Na primer, kada se proširenje vrši u smeru „desno„ ER, slika se može konstruisati dodavanjem regiona RC postojećoj slici S0 i može da uključuje region TR ili BR zajedno sa proširenjem u najmanje jednom drugom smeru ET ili EB.
[0168] Prema jednoj realizaciji predmetnog pronalaska, moguće je obezbediti podešavanja (npr. spa_ref enabled flag ili tem_ref enabled flag) za prostorno ili vremenski ograničavanje referentnosti regiona sa promenjenom veličinom (ovaj primer pretpostavlja proširenje).
[0169] Odnosno, upućivanje na podatke regiona koji je prostorno ili vremenski promenjen u skladu sa postavkama kodiranja/dekodiranja može biti dozvoljeno (npr. spa_ref enabled flag = 1 ili tem_ref_enabled_flag = 1) ili ograničeno (npr. spa_ref enabled flag = 0 ili tem_ref_enabled_flag = 0).
[0170] Kodiranje/dekodiranje slika S0 i T1 pre promene veličine i regiona TC, BC, LC, RC, TL, TR, BL i BR dodatih ili obrisanih tokom promene veličine može se izvesti na sledeći način.
[0171] Na primer, kada su slika pre promene veličine i dodati ili izbrisani region kodirani ili dekodirani, podaci koji se odnose na sliku pre promene veličine i podaci u vezi sa dodatim ili izbrisanim regionom (podaci nakon što je kodiranje ili dekodiranje završeno; vrednost piksela ili informacije o predikciji) mogu biti prostorno ili vremenski referencirane jedna na drugu.
[0172] Alternativno, slika pre promene veličine i podaci u vezi sa dodatim ili izbrisanim regionom mogu biti prostorno referencirani, dok podaci koji se odnose na sliku pre promene veličine mogu biti vremenski referencirani, a podaci u vezi sa dodatim ili izbrisanim regionom ne mogu biti vremenski referencirani.
[0173] Odnosno, moguće je obezbediti podešavanja za ograničavanje referentnosti dodatog ili izbrisanog regiona. Informacije o podešavanju koje se odnose na referentnost dodatog ili izbrisanog regiona mogu biti eksplicitno generisane ili implicitno određene.
[0174] Proces promene veličine slike prema realizaciji predmetnog pronalaska može da uključuje korak indikacije promene veličine slike, korak identifikacije tipa promene veličine slike i/ili korak izvođenja promene veličine slike. Takođe, uređaj za kodiranje slike i uređaj za dekodiranje slike mogu da uključuju deo za indikaciju promene veličine slike, deo za identifikaciju promene veličine slike i deo za izvođenje promene veličine slike, koji su konfigurisani da izvode korak indikacije promene veličine slike, korak identifikacije tipa promene veličine slike i korak izvođenja promene veličine slike, tim redosledom. Za kodiranje se može generisati srodni sintaksni element. Za dekodiranje, srodni sintaksni element se može raščlaniti.
[0175] U koraku indikacije promene veličine slike, može se odrediti da li da se izvrši promena veličine slike. Na primer, kada se potvrdi signal koji ukazuje na promenu veličine slike (npr. img_resizing_enabled_flag), promena veličine se može izvršiti. Kada signal koji ukazuje na promenu veličine slike nije potvrđen, promena veličine se možda neće izvršiti ili se promena veličine može izvršiti potvrđivanjem drugih informacija o kodiranju/dekodiranju. Takođe, iako signal koji ukazuje na promenu veličine slike nije obezbeđen, signal koji ukazuje na promenu veličine slike može biti implicitno aktiviran ili deaktiviran u skladu sa postavkama kodiranja/dekodiranja (npr. karakteristikama, tipom slike i slično). Kada se izvrši promena veličine, odgovarajuće informacije u vezi sa promenom veličine mogu se generisati ili mogu biti implicitno određene.
[0176] Kada je obezbeđen signal koji ukazuje na promenu veličine slike, odgovarajući signal je signal za indikaciju da li da se izvrši promena veličine slike. Da li treba promeniti veličinu odgovarajuće slike može se odrediti prema signalu.
[0177] Na primer, pretpostavlja se da je potvrđen signal koji ukazuje na promenu veličine slike (npr. img_resizing_enabled_flag). Kada je odgovarajući signal aktiviran (npr. img_resizing_enabled_flag = 1), može se izvršiti promena veličine slike. Kada je odgovarajući signal deaktiviran (npr. img_resizing_enabled_flag = 0), promena veličine slike se možda neće izvršiti.
[0178] Takođe, kada signal koji ukazuje na promenu veličine slike nije obezbeđen, promena veličine se možda neće izvršiti ili se da li će se promeniti veličina odgovarajuće slike može odrediti drugim signalom.
[0179] Na primer, kada je ulazna slika particionisana na blokove, promena veličine se može izvršiti u zavisnosti od toga da li je veličina (npr. širina ili visina) slike višestruka u odnosu na veličinu (npr. širinu ili visinu) bloka (za proširenje u ovom primeru, pretpostavlja se da se proces promene veličine izvodi kada veličina slike nije višestruka od veličine bloka). Odnosno, kada širina slike nije višestruka širina bloka ili kada visina slike nije višestruka visina bloka, može se izvršiti promena veličine. U ovom slučaju, informacije o promeni veličine (npr. smer promene veličine, vrednost promene veličine, itd.) mogu da se odrede u skladu sa informacijama o kodiranju/dekodiranju (npr. veličina slike, veličina bloka, itd.). Alternativno, promena veličine se može izvršiti u skladu sa karakteristikama, tipom slike (npr. slika od 360 stepeni) i slično, a informacija o promeni veličine može biti eksplicitno generisana ili može biti dodeljena kao unapred određena vrednost. Predmetni pronalazak nije ograničen na gornji primer, i mogu se izvršiti modifikacije.
[0180] U koraku identifikacije tipa promene veličine slike, može se identifikovati tip promene veličine slike. Tip promene veličine slike može biti definisan postupkom promene veličine, informacijama o promeni veličine i slično. Na primer, može se izvesti promena veličine na osnovu faktora skaliranja, promena veličine na osnovu faktora pomeraja (offset) i slično. Predmetni pronalazak nije ograničen na gornji primer, i postupci se mogu primeniti u kombinaciji. Radi lakšeg opisa, sledeći opis će se fokusirati na promenu veličine na osnovu faktora skaliranja i promenu veličine na osnovu faktora pomeraja.
[0181] Za faktor skaliranja, promena veličine se može izvršiti množenjem ili deljenjem na osnovu veličine slike. Informacije u vezi sa operacijama promene veličine (npr. proširenje ili smanjenje) mogu biti eksplicitno generisane, a proces proširenja ili smanjenja se može izvršiti u skladu sa odgovarajućim informacijama. Takođe, proces promene veličine može da se izvede kao unapred određena operacija (npr. jedna od operacije proširenja i operacije smanjenja) u skladu sa postavkama kodiranja/dekodiranja. U ovom slučaju, informacije u vezi sa operacijama promene veličine će biti izostavljene. Na primer, kada je promena veličine slike aktivirana u koraku indikacije promene veličine slike, promena veličine slike se može izvršiti kao unapred određena operacija.
[0182] Smer promene veličine može biti najmanje jedan smer izabran iz gore, dole, levo i desno. Možda će biti potreban barem jedan faktor skaliranja u zavisnosti od smera promene veličine. Odnosno, jedan faktor skaliranja (ovde, jednosmerni) može biti potreban za svaki smer, jedan faktor skaliranja (ovde, dvosmerni) može biti potreban za bočni ili uzdužni pravac, a jedan faktor skaliranja (ovde, višesmerni) može biti potreban za sve smerove slike. Takođe, smer promene veličine nije ograničen na gornji primer i mogu se izvršiti modifikacije.
[0183] Faktor skaliranja može da ima pozitivnu vrednost i može da ima informacije o opsegu koje se razlikuju u zavisnosti od podešavanja kodiranja/dekodiranja. Na primer, kada se informacija generiše kombinovanjem operacije promene veličine i faktora skaliranja, faktor skaliranja se može koristiti kao množilac. Faktor skaliranja veći od 0 ili manji od 1 može značiti operaciju smanjenja, faktor skaliranja veći od 1 može značiti operaciju proširenja, a faktor skaliranja 1 može značiti da se promena veličine ne vrši. Kao drugi primer, kada se generiše informacija o faktoru skaliranja bez obzira na operaciju promene veličine, faktor skaliranja za operaciju proširenja može da se koristi kao množilac, a faktor skaliranja za operaciju smanjenja može da se koristi kao deljenik.
[0184] Proces promene slike pre promene veličine S0 i T0 na slike nakon promene veličine (ovde, S1 i T1) biće ponovo opisan u vezi sa delovima 7A i 7B na Sl.7.
[0185] Na primer, kada se jedan faktor skaliranja (koji se naziva sc) koristi u svim smerovima slike i smer promene veličine je smer „dole+desno”, smerovi promene veličine su ER i EB (ili RR i RB), vrednosti promene veličine Var_L(Exp_L ili Rec_L) i Var_T(Exp_T ili Rec_T) su 0, a Var_R(Exp_R ili Rec_R) i Var_B(Exp_B ili Rec_B) mogu biti izražene kao P_Width x (sc - 1) and P_Height x (sc - 1). Shodno tome, slika nakon promene veličine može biti (P_Width x sc) x (P_Height x sc).
[0186] Na primer, kada se odgovarajući faktori razmera (ovde, sc_w i sc_h) koriste u bočnom pravcu ili uzdužnom pravcu slike, a pravci promene veličine su smer „levo+desno” i smer „gore+dole” (gore+dole+levo+desno kada se rade dva), smer promene veličine može biti ET, EB, EL i ER, vrednosti promene veličine Var_T i Var_B mogu biti P_Height x (sc_h - 1)/2, a Var_L i Var_R mogu biti P_Width x (sc_w - 1)/2. Shodno tome, slika nakon promene veličine može biti (P_Width x sc_w) x (P_Height x sc_h).
[0187] Za faktor pomeraja, promena veličine se može izvršiti dodavanjem ili oduzimanjem na osnovu veličine slike. Alternativno, promena veličine se može izvršiti dodavanjem ili oduzimanjem na osnovu informacija o kodiranju/dekodiranju slike. Alternativno, promena veličine se može izvršiti nezavisnim dodavanjem ili oduzimanjem. Odnosno, proces promene veličine može imati zavisna ili nezavisna podešavanja.
[0188] Informacije u vezi sa operacijama promene veličine (npr. proširenje ili smanjenje) mogu biti eksplicitno generisane, a proces proširenja ili smanjenja se može izvršiti u skladu sa odgovarajućim informacijama. Takođe, operacije promene veličine mogu biti izvedene kao unapred određena operacija (npr. jedna od operacije proširenja i operacije smanjenja) u skladu sa postavkama kodiranja/dekodiranja. U ovom slučaju, informacije u vezi sa operacijama promene veličine mogu biti izostavljene. Na primer, kada je promena veličine slike aktivirana u koraku indikacije promene veličine slike, promena veličine slike se može izvršiti kao unapred određena operacija.
[0189] Smer promene veličine može biti najmanje jedan smer izabran iz gore, dole, levo i desno. Možda će biti potreban bar jedan faktor pomeraja u zavisnosti od smera promene veličine. Odnosno, jedan faktor pomeraja (ovde, jednosmerni) može biti potreban za svaki smer, jedan faktor pomeraja (ovde, simetrično dvosmerni) može biti potreban za bočni pravac ili uzdužni pravac, jedan faktor pomeraja (ovde, asimetrično dvosmerni) može biti potreban prema delimičnoj kombinaciji smerova, i jedan faktor pomeraja (ovde, višesmerni) može biti potreban za sve smerove slike. Takođe, smer promene veličine nije ograničen na gornji primer i mogu se izvršiti modifikacije.
[0190] Faktor pomeraja može da ima pozitivnu vrednost ili da ima i pozitivnu i negativnu vrednost, i može da ima informacije o opsegu koje se razlikuju u zavisnosti od podešavanja kodiranja/dekodiranja. Na primer, kada se informacija generiše u kombinaciji operacije promene veličine i faktora pomeraja (ovde se pretpostavlja da faktor pomeraja ima i pozitivnu i negativnu vrednost), faktor pomeraja može da se koristi kao vrednost koja se dodaje ili oduzima u zavisnosti od predznaka faktora pomeraja. Faktor pomeraja veći od 0 može da znači operaciju proširenja, faktor pomeraja manji od 0 može značiti operaciju smanjenja, a faktor pomeraja 0 može značiti da se promena veličine ne vrši. Kao drugi primer, kada se informacije o faktoru pomeranja generišu odvojeno od operacije promene veličine (ovde se pretpostavlja da faktor pomeraja ima pozitivnu vrednost), faktor pomeraja može da se koristi kao vrednost koja se dodaje ili oduzima u zavisnosti od operacije promene veličine. Faktor pomeraja veći od 0 može da znači da se operacija proširenja ili smanjenja može izvršiti u zavisnosti od operacije promene veličine, a faktor pomeraja 0 može da znači da promena veličine nije izvršena.
[0191] Postupak promene slike od pre promene veličine S0 i T0 na slike nakon promene veličine S1 i T1 korišćenjem faktora pomeraja biće opisana ponovo uz upućivanje na delove 7A i 7B na Sl. 7.
[0192] Na primer, kada se jedan faktor pomeraja (koji se naziva os) koristi u svim smerovima slike i smer promene veličine je smer „gore+dole+levo+desno”, smerovi promene veličine mogu biti ET, EB, EL i ER (ili RT, RB, RL i RR), a vrednosti promene veličine Var_T, Var_B, Var_L i Var_R mogu biti os. Veličina slike nakon promene veličine može biti (P_Width+os) x (P_Height+os).
[0193] Na primer, kada se faktor pomeraja os_w ili os_h koristi u bočnom ili uzdužnom pravcu slike i pravci promene veličine su smer „levo+desno” i smer „gore+dole” („gore+dole+levo+desno” kada se koriste dva), smerovi promene veličine mogu biti ET, EB, EL i ER (ili RT, RB, RL i RR), vrednosti promene veličine Var_T i Var_B mogu biti os_h, a vrednosti promene veličine Var_L a Var_R može biti os_w. Veličina slike nakon promene veličine može biti {P_Width+(os_w x 2)} x {P_Height+(os_h x 2)}.
[0194] Na primer, kada su smerovi promene veličine smer „dole” i „desno” (smer „dole+desno” kada se rade zajedno) i faktor pomeraja os_b ili os_r se koristi u zavisnosti od smera promene veličine, smerovi promena veličine mogu biti EB i ER (ili RB i RR), vrednost promene veličine Var_B može biti os_b, a vrednost promene veličine Var_R može biti os_r. Veličina slike nakon promene veličine može biti (P_Width os_r) x (P_Height os_b).
[0195] Na primer, kada se koristi faktor pomeraja os_t, os_b, os_l ili os_r u zavisnosti od smera slike i smerovi promene veličine su smer „gore”, smer „dole”, smer „levo” i smer „desno” (smer „gore+dole+levo+desno” kada se svi koriste), smerovi promene veličine mogu biti ET, EB, EL i ER (ili RT, RB, RL i RR), vrednost promene veličine Var_T može biti os_t, vrednost promene veličine Var_B može biti os_b, vrednost promene veličine Var_L može biti os_l, a vrednost promene veličine Var_R može biti os_r. Veličina slike nakon promene veličine može biti (P_Width os_l os_r) x (P_Height os_t os_b).
[0196] Gornji primer ukazuje na slučaj u kome se faktor pomeraja koristi kao vrednost promene veličine Var_T, Var_B, Var_L ili Var_R tokom procesa promene veličine. Odnosno, to znači da se faktor pomeraja koristi kao vrednost promene veličine bez ikakvih promena, što može biti primer promene veličine koja se vrši nezavisno. Alternativno, faktor pomeraja se može koristiti kao ulazna promenljiva vrednosti promene veličine. Preciznije, faktor pomeraja može biti dodeljen kao ulazna promenljiva, a vrednost promene veličine može se dobiti kroz niz procesa u skladu sa postavkama kodiranja/dekodiranja, što može biti primer promene veličine koja se vrši na osnovu unapred određenih informacija (npr. veličina slike, informacije o kodiranju/dekodiranju, itd.) ili primer promene veličine koja se vrši zavisno.
[0197] Na primer, faktor pomeraja može biti višestruki (npr.1, 2, 4, 6, 8 i 16) ili eksponent (npr. eksponenti od 2, kao što su 1, 2, 4, 8, 16, 32, 64, 128 i 256) unapred određene vrednosti (ovde ceo broj). Alternativno, faktor pomeraja može biti množač ili eksponent vrednosti dobijene na osnovu podešavanja kodiranja/dekodiranja (npr. vrednost koja je postavljena na osnovu opsega pretraživanja kretanja interpredikcije). Alternativno, faktor pomeraja može biti množač ili ceo broj jedinice (ovde, pod pretpostavkom A x B) koja se dobija iz dela za particionisanje slike. Alternativno, faktor pomeraja može biti množač jedinice (ovde, pod pretpostavkom E x F kao što je pločica) koja se dobija iz dela za particionisanje slike.
[0198] Alternativno, faktor pomeraja može biti vrednost koja je manja ili jednaka širini i visini jedinice dobijene iz dela za particionisanje slike. U gornjem primeru, množač ili eksponent mogu imati vrednost od 1. Međutim, predmetni pronalazak nije ograničen na gornji primer i mogu se izvršiti njegove modifikacije. Na primer, kada je faktor pomeraja n, Var_x može biti 2 x n ili 2<n>.
[0199] Takođe, pojedinačni faktori pomeraja mogu biti podržani prema komponentama boje. Faktori pomeraja za neke komponente boje mogu biti podržani, pa se na taj način mogu izvesti informacije o faktoru pomeraja za druge komponente boje. Na primer, kada se eksplicitno generiše faktor pomeraja A za komponentu osvetljenosti (ovde, pod pretpostavkom da je odnos kompozicije komponente osvetljenja u odnosu na komponentu hrominanse 2:1), faktor pomeraja A/2 za komponentu hrominanse može biti implicitno stečen. Alternativno, kada se faktor pomeraja A za komponentu hrominanse eksplicitno generiše, faktor pomeraja 2A za komponentu osvetljenosti može biti implicitno dobijen.
[0200] Informacije u vezi sa smerom promene veličine i vrednosti promene veličine mogu se eksplicitno generisati, a proces promene veličine se može izvršiti u skladu sa odgovarajućim informacijama. Takođe, informacije mogu biti implicitno određene u skladu sa postavkama kodiranja/dekodiranja, a proces promene veličine se može izvršiti u skladu sa utvrđenim informacijama. Najmanje jedan unapred određeni smer ili vrednost promene veličine mogu biti dodeljeni, a u ovom slučaju, povezane informacije mogu biti izostavljene. U ovom slučaju, podešavanja kodiranja/dekodiranja mogu se odrediti na osnovu karakteristika, tipa, informacija o kodiranju slike i slično. Na primer, najmanje jedan pravac promene veličine može biti unapred određen prema najmanje jednoj operaciji promene veličine, najmanje jedna vrednost promene veličine može biti unapred određena prema najmanje jednoj operaciji promene veličine, a najmanje jedna vrednost promene veličine može biti unapred određena prema najmanje jednom smeru promene veličine. Takođe, smer promene veličine, vrednost promene veličine i slično tokom procesa inverzne promene veličine mogu biti izvedeni iz smera promene veličine, vrednosti promene veličine i slično koji se primenjuju tokom procesa promene veličine. U ovom slučaju, vrednost promene veličine koja je implicitno određena može biti jedan od gore navedenih primera (primeri u kojima se vrednost promene veličine dobija na različite načine).
[0201] Takođe, množenje ili deljenje je opisano u gornjem primeru, ali se može koristiti operacija pomeranja u zavisnosti od implementacije kodera/dekodera. Množenje se može sprovesti kroz operaciju pomeranja ulevo, a deljenje može biti sprovedeno kroz operaciju pomeranja udesno. Ovaj opis nije ograničen na gornji primer i može se primeniti kao zajednički za predmetni pronalazak.
[0202] U koraku izvođenja promene veličine slike, promena veličine slike se može izvršiti na osnovu identifikovanih informacija o promeni veličine. Odnosno, promena veličine slike se može izvršiti na osnovu informacija o tipu promene veličine, operaciji promene veličine, smeru promene veličine, vrednosti promene veličine i slično, a kodiranje/dekodiranje se može izvršiti na osnovu dobijene slike nakon promena veličine.
[0203] Takođe, u koraku izvođenja promene veličine slike, promena veličine se može izvršiti korišćenjem najmanje jednog postupka obrade podataka. Preciznije, promena veličine se može izvršiti na regionu kome treba promeniti veličinu u skladu sa tipom promene veličine i operacijom promene veličine korišćenjem najmanje jednog postupka obrade podataka. Na primer, u zavisnosti od tipa promene veličine, način popunjavanja podataka može se odrediti kada je promena veličine za proširenje, a način uklanjanja podataka kada je promena veličine za smanjenje.
[0204] Ukratko, u koraku izvođenja promene veličine slike, promena veličine slike se može izvršiti na osnovu identifikovanih informacija o promeni veličine. Alternativno, u koraku izvođenja promene veličine slike, promena veličine slike se može izvršiti na osnovu informacija o promeni veličine i postupka obrade podataka. Gornja dva slučaja mogu se razlikovati jedan od drugog po tome što se prilagođava samo veličina slike koja se kodira ili dekodira ili se uzima u obzir čak i obrada podataka za veličinu slike i za region koji treba da se promeni. U koraku izvođenja promene veličine slike, da li da se izvrši postupak obrade podataka može se odrediti u zavisnosti od koraka, položaja i slično u kojima se primenjuje proces promene veličine. Sledeći opis se fokusira na primer u kome se promena veličine vrši na osnovu postupka obrade podataka, ali predmetni pronalazak nije ograničen na to.
[0205] Kada se izvrši promena veličine na osnovu faktora pomeraja, promena veličine za proširenje i promena veličine za smanjenje mogu se izvršiti korišćenjem različitih postupaka. Za proširenje, promena veličine se može izvršiti korišćenjem najmanje jednog postupka popunjavanja podataka. Za smanjenje, promena veličine se može izvršiti korišćenjem najmanje jednog postupka uklanjanja podataka. U ovom slučaju, kada se izvrši promena veličine na osnovu faktora pomeraja, region (proširivanje) može da se popuni novim podacima ili originalnim podacima slike direktno ili posle modifikacije, a region promene veličine (smanjenje) može biti uklonjen jednostavno ili kroz niz procesa.
[0206] Kada se izvrši promena veličine zasnovana na faktoru skaliranja, u nekim slučajevima (npr. hijerarhijsko kodiranje), promena veličine za proširenje se može izvršiti primenom uzorkovanja naviše, a promena veličine za smanjenje može se izvršiti primenom uzorkovanja naniže. Na primer, najmanje jedan filter za povećanje uzorkovanja može se koristiti za proširenje, a najmanje jedan filter za smanjenje uzorkovanja može se koristiti za smanjenje. Horizontalno primenjeni filter može biti isti ili drugačiji od vertikalno primenjenog filtera. U ovom slučaju, kada se izvrši promena veličine na osnovu faktora skaliranja, novi podaci se niti generišu niti uklanjaju iz regiona sa promenjenom veličinom, ali originalni podaci slike mogu da se preurede korišćenjem postupka kao što je interpolacija. Postupak obrade podataka povezan sa promenom veličine može se klasifikovati prema filteru koji se koristi za uzorkovanje. Takođe, u nekim slučajevima (npr. slučaj sličan onom kod faktora pomeraja), promena veličine za proširenje može da se izvrši korišćenjem postupka popunjavanja najmanje jednog podatka, a promena veličine za smanjenje se može izvršiti pomoću postupka uklanjanja najmanje jednog podatka. Prema predmetnom pronalasku, sledeći opis se fokusira na postupak obrade podataka koji odgovara tome kada se vrši promena veličine na osnovu faktora pomeraja.
[0207] Generalno, unapred određeni postupak obrade podataka može se koristiti u regionu kome treba promeniti veličinu, ali najmanje jedan postupak obrade podataka može se koristiti u regionu kome treba promeniti veličinu kao u sledećem primeru. Informacije o izboru za postupak obrade podataka mogu se generisati. Prvo može značiti da se promena veličine vrši putem fiksnog postupka obrade podataka, a drugo može značiti da se promena veličine vrši putem prilagodljivog postupka obrade podataka.
[0208] Takođe, postupak obrade podataka se može primeniti na sve (TL, TC, TR, ..., BR u delovima 7A i 7B) ili na neke (npr. svaki ili kombinacija TL do BR u delovima 7A i 7B) regione koji se dodaju ili brišu tokom promene veličine.
[0209] Slika 8 je primer dijagrama postupka konstruisanja regiona generisanog proširenjem u postupku promene veličine slike prema jednoj realizaciji predmetnog pronalaska.
[0210] Uz upućivanje na deo 8A, radi lakšeg opisa, slika može biti podeljena na regione TL, TC, TR, LC, C, RC, BL, BC i BR, koji odgovaraju gornjoj levoj poziciji, gornjoj poziciji, gornjoj desnoj poziciji, levoj poziciji, centralnoj poziciji, desnoj poziciji, donjoj levoj poziciji, donjoj poziciji i donjoj desnoj poziciji slike. U sledećem opisu, slika je proširena u smeru „dole+desno”, ali treba razumeti da se opis može primeniti i na druge smerove proširenja.
[0211] Region koji se dodaje u skladu sa proširenjem slike može se konstruisati korišćenjem različitih postupaka. Na primer, region može biti popunjen proizvoljnom vrednošću ili može biti popunjen referencom na neke podatke slike.
[0212] Uz upućivanje na Deo 8B, generisani regioni A0i A2mogu biti popunjeni proizvoljnom vrednošću piksela. Proizvoljna vrednost piksela može se odrediti korišćenjem različitih postupaka.
[0213] Kao primer, proizvoljna vrednost piksela može biti jedan piksel u opsegu vrednosti piksela (npr. od 0 do 1 << (bit_depth) -1) koji se može izraziti korišćenjem dubine boje (u bitovima). Na primer, proizvoljna vrednost piksela može biti minimum, maksimum, medijana (npr. 1 << (bit_dubina - 1), itd.), ili slično u opsegu vrednosti piksela (ovde, bit_depth označava dubinu boje) .
[0214] Na primer, proizvoljna vrednost piksela može biti jedan piksel u opsegu vrednosti piksela (npr. od minPdo maxP; minPi maxPoznačavaju minimalnu i maksimalnu vrednost među pikselima koji pripadaju slici; minPje veći ili jednak 0; makPje manji ili jednak 1 << (bit_depth) - 1) piksela koji pripadaju slici. Na primer, proizvoljna vrednost piksela može biti minimum, maksimum, medijana, prosek (od najmanje dva piksela), ponderisani zbir, itd. opsega vrednosti piksela.
[0215] Kao primer, proizvoljna vrednost piksela može biti vrednost koja je određena u opsegu vrednosti piksela koji pripada specifičnom regionu uključenom u sliku. Na primer, kada je A0konstruisana, specifični region može biti TR+RC+BR. Takođe, specifični region može biti obezbeđen kao region koji odgovara 3 x 9 od TR, RC i BR ili region koji odgovara 1 x 9 <koji se pretpostavlja kao krajnja desna linija>. Ovo može zavisiti od podešavanja kodiranja/dekodiranja.
U ovom slučaju, specifičan region može biti jedinica koja će biti podeljena delom za particionisanje slike. Preciznije, proizvoljna vrednost piksela može biti minimum, maksimum, medijana, prosek (od najmanje dva piksela), ponderisani zbir, itd., opsega vrednosti piksela.
[0216] Pozivajući se ponovo na deo 8B, region A1koji se dodaje zajedno sa proširenjem slike može biti ispunjen informacijama o obrascu (npr. pretpostavlja se da obrazac koristi više piksela; nema potrebe da se poštuju određena pravila) koji se generiše korišćenjem većeg broja vrednosti piksela. U ovom slučaju, informacije o obrascu mogu biti definisane u skladu sa postavkama kodiranja/dekodiranja ili se mogu generisati povezane informacije. Generisani region može biti popunjen sa najmanje jednim delom informacije o obrascu.
[0217] Uz upućivanje na deo 8C, region koji se dodaje zajedno sa proširenjem slike može se konstruisati u odnosu na piksele specifičnog regiona uključenog u sliku. Preciznije, dodati region se može konstruisati kopiranjem ili popunjavanjem piksela (u daljem tekstu referentni pikseli) u regionu koji je susedan dodatom regionu. U ovom slučaju, pikseli u regionu susednom dodatom regionu mogu biti piksel pre kodiranja ili piksel posle kodiranja (ili dekodiranja). Na primer, referentni piksel se može odnositi na piksel ulazne slike kada se promena veličine vrši u koraku prethodnog kodiranja, a referentni piksel se može odnositi na piksel rekonstruisane slike kada se promena veličine vrši u intrapredikcijskom koraku generisanja referentnog piksela, koraku generisanja referentne slike, koraku filtriranja i slično. U ovom primeru, pretpostavlja se da se najbliži piksel koristi u dodatom regionu, ali predmetni pronalazak nije ograničen na to.
[0218] Region A0, koji se generiše kada se slika proširi ulevo ili udesno u vezi sa promenom veličine bočne slike, može da se konstruiše horizontalnim popunjavanjem (Z0) spoljnih piksela pored generisanog regiona A0,a region A1, koji se generiše kada se slika proširi nagore ili dole u vezi sa uzdužnom promenom veličine slike, može se konstruisati vertikalnim dodavanjem (Z1) spoljnih piksela pored generisanog regiona A1. Takođe, region A2, koji se generiše kada se slika proširi dole i udesno, može se konstruisati dijagonalnim dodavanjem (Z2) spoljnih piksela pored generisanog regiona A2.
[0219] Uz upućivanje na deo 8D, generisani regioni B'0 do B'2 mogu se konstruisati u odnosu na podatke specifičnih regiona B0 do B2 uključenih u sliku. U delu 8D, za razliku od dela 8C, može se referencirati region koji nije susedan generisanom regionu.
[0220] Na primer, kada je na slici prisutan region koji ima visoku korelaciju sa generisanim regionom, generisani region može biti popunjen u odnosu na piksele regiona koji ima visoku korelaciju. U ovom slučaju, mogu da se generišu informacije o lokaciji, informacije o veličini, itd., regiona koji imaju visoku korelaciju. Alternativno, kada je region sa visokom korelacijom prisutan kroz informacije o kodiranju/dekodiranju karakteristika, tipa slike i slično, i informacije o lokaciji, informacije o veličini regiona i slično sa visokom korelacijom mogu se implicitno proveriti (npr. kao za sliku od 360 stepeni), generisani region može biti popunjen podacima odgovarajućeg regiona. U ovom slučaju, informacije o lokaciji, informacije o veličini, itd. odgovarajućeg regiona mogu biti izostavljene.
[0221] Na primer, region B'2, koji se generiše kada se slika proširi nalevo ili nadesno u vezi sa bočnom promenom veličine slike, može se popuniti upućivanjem na piksele u regionu B2 suprotno od regiona koji se generiše kada se slika proširi ulevo ili udesno u vezi sa bočnom promenom veličine.
[0222] Na primer, region B'1, koji se generiše kada se slika proširi nagore ili dole u vezi sa uzdužnom promenom veličine slike, može se popuniti upućivanjem na piksele u regionu B1 suprotno od regiona koji se generiše kada se slika proširi nagore ili dole u vezi sa uzdužnom promenom veličine.
[0223] Kao primer, region B'0, koji se generiše kada se slika proširi kroz neku promenu veličine slike (ovde, dijagonalno u odnosu na centar slike), može biti popunjena upućivanjem na piksele u regionu B0 ili TL suprotno od generisanog regiona.
[0224] Opisan je primer u kome je prisutan kontinuitet na granici između oba kraja slike i u kome se dobijaju podaci o regionu simetričnom u odnosu na pravac promene veličine. Međutim, predmetni pronalazak nije ograničen na to, i mogu se prikupiti podaci o drugim regionima TL do BR.
[0225] Kada se generisani region popuni podacima određenog regiona slike, podaci odgovarajućeg regiona mogu se kopirati i koristiti za popunjavanje generisanog regiona kakav jeste, ili se podaci odgovarajućeg regiona mogu transformisati na osnovu karakteristike, tipa slike i slično, i koristi se za popunjavanje generisanog regiona. U ovom slučaju, kopiranje podataka kakvi jesu može značiti da se vrednost piksela odgovarajućeg regiona koristi bez ikakvih promena, a izvođenje procesa transformacije može značiti da se vrednost piksela odgovarajućeg regiona ne koristi bez ikakvih promena. Odnosno, najmanje jedna vrednost piksela odgovarajućeg regiona može biti promenjena kroz proces transformacije. Generisani region može biti popunjen sa promenjenom vrednošću piksela ili se bar jedna od lokacija na kojoj se neki pikseli dobijaju može razlikovati od drugih lokacija. Odnosno, da bi se popunio generisani region A x B, mogu se koristiti podaci C x D koji nisu podaci A x B, odgovarajućeg regiona. Drugim rečima, barem jedan od vektora kretanja primenjen na piksele kojima je generisani region ispunjen može se razlikovati od ostalih piksela. U gornjem primeru, kada je slika od 360 stepeni sastavljena od više lica prema formatu projekcije, generisani region može biti popunjen podacima drugih lica. Postupak obrade podataka za popunjavanje regiona generisanog kada se slika proširi promenom veličine slike nije ograničen na gornji primer. Postupak obrade podataka može se poboljšati ili promeniti, ili se može koristiti dodatni postupak obrade podataka.
[0226] Veći broj grupa kandidata za postupak obrade podataka može biti podržano u skladu sa postavkama kodiranja/dekodiranja, a informacije koje se odnose na izbor postupka obrade podataka iz većeg broja grupa kandidata mogu da se generišu i dodaju u tok bitova. Na primer, jedan postupak obrade podataka može biti izabran iz postupka popunjavanja korišćenjem unapred određene vrednosti piksela, postupka popunjavanja kopiranjem spoljašnjih piksela, postupka popunjavanja kopiranjem određenog regiona slike, postupka popunjavanja transformacijom određenog regiona slike i slično, i povezane informacije o izboru mogu se generisati. Takođe, način obrade podataka može biti implicitno određen.
[0227] Na primer, postupak obrade podataka primenjen na sve regione (ovde, regioni TL do BR u delu 7A), koji treba da se generišu zajedno sa proširenjem kroz promenu veličine slike, može biti jedan od postupaka popunjavanja korišćenjem unapred određene vrednosti piksela, postupka popunjavanja kopiranjem spoljašnjih piksela, postupka popunjavanja kopiranjem specifičnog regiona slike, postupka popunjavanja transformisanjem specifičnog regiona slike, i slično, i povezane informacije o izboru mogu se generisati. Takođe, može se odrediti jedan unapred određeni postupak obrade podataka primenjen na ceo region.
[0228] Alternativno, postupak obrade podataka primenjen na regione (ovde, svaki od ili dva ili više regiona TL do BR u delu 7A na slici 7), koji treba da se generišu zajedno sa proširenjem kroz promenu veličine slike, može biti jedan od postupka popunjavanja korišćenjem unapred određene vrednosti piksela, postupka popunjavanja kopiranjem spoljašnjih piksela, postupka popunjavanja kopiranjem određenog regiona slike, postupka popunjavanja transformisanjem određenog regiona slike i slično, i povezane informacije o izboru mogu se generisati. Takođe, može se odrediti jedan unapred određeni postupak obrade podataka primenjen na najmanje jedan region.
[0229] Slika 9 je primer dijagrama postupka konstruisanja regiona koji se briše smanjivanjem i regiona koji se generiše u postupku promene veličine slike prema jednoj realizaciji predmetnog pronalaska.
[0230] Područje koje treba izbrisati u procesu smanjenja slike može se ukloniti ne samo jednostavno, već i nakon niza procesa aplikacije.
[0231] Uz upućivanje na deo 9A, tokom procesa smanjenja slike, specifični regioni A0, A1,i A2mogu se jednostavno ukloniti bez dodatnog procesa prijave. U ovom slučaju, slika A može biti podeljena na regione TL do BR, kao što je prikazano u delu 8A.
[0232] Uz upućivanje na deo 9B, regioni A0do A2mogu biti uklonjeni i mogu se koristiti kao referentna informacija kada se slika A kodira ili dekodira. Na primer, izbrisani regioni A0do A2mogu se koristiti tokom procesa vraćanja ili ispravljanja specifičnih regiona slike A koji se brišu smanjenjem. Tokom procesa rekonstrukcije ili korekcije, može se koristiti ponderisani zbir, prosek dva regiona (izbrisani region i generisani region) i slično. Takođe, proces rekonstrukcije ili korekcije može biti proces koji se može primeniti kada dva regiona imaju visoku korelaciju.
[0233] Na primer, region B'2, koji se briše kada se slika smanji ulevo ili udesno u vezi sa promenom veličine bočne slike, može se koristiti za vraćanje ili ispravljanje piksela u regionu B2, LC suprotno od regiona koji je izbrisan kada slika se smanjuje ulevo ili udesno u vezi sa bočnom promenom veličine, a zatim se može ukloniti iz memorije.
[0234] Kao primer, region B'1, koji se briše kada se slika smanji nagore ili dole u vezi sa uzdužnom promenom veličine slike, može se koristiti za proces kodiranja/dekodiranja (proces rekonstrukcije ili korekcije) regiona B1, TR suprotno od regiona koji se briše kada se slika smanji nagore ili dole u vezi sa uzdužnom promenom veličine, a zatim se može ukloniti iz memorije.
[0235] Kao primer, region B'0, koji se briše kada se slika smanji kroz neku promenu veličine slike (ovde, dijagonalno u odnosu na centar slike), može se koristiti za proces kodiranja/dekodiranja (proces rekonstrukcije ili korekcije) regiona B0 ili TL suprotno od izbrisanog regiona, a zatim se može ukloniti iz memorije.
[0236] Opisan je primer u kome je kontinuitet prisutan na granici između oba kraja slike i u kome se podaci o regionu simetričnom u odnosu na pravac promene veličine koriste za rekonstrukciju ili korekciju. Međutim, predmetni pronalazak nije ograničen na to, i podaci o regionima TL do BR koji nisu simetrični regioni mogu se koristiti za rekonstrukciju ili korekciju i zatim mogu biti uklonjeni iz memorije.
[0237] Postupak obrade podataka za uklanjanje regiona za brisanje nije ograničen na gornji primer. Postupak obrade podataka može se poboljšati ili promeniti, ili se može koristiti dodatni postupak obrade podataka.
[0238] Veći broj grupa kandidata za postupak obrade podataka može biti podržan u skladu sa postavkama kodiranja/dekodiranja, a povezane informacije o izboru mogu se generisati i dodati u tok bitova. Na primer, jedan postupak obrade podataka može biti izabran iz postupka jednostavnog uklanjanja regiona koji treba da se izbriše, postupka uklanjanja regiona koji se briše nakon korišćenja regiona u nizu procesa, i slično, i povezane informacije o izboru se mogu generisati. Takođe, način obrade podataka može biti implicitno određen.
[0239] Na primer, postupak obrade podataka primenjen na sve regione (ovde, regioni TL do BR u delu 7B na Slici 7), koji treba da se obrišu zajedno sa smanjenjem kroz promenu veličine slike, može biti jedan od postupka jednostavnog uklanjanja regiona koji treba obrisati, postupka uklanjanja regiona koji se briše nakon korišćenja regiona u nizu procesa, i slično, i povezane informacije o izboru se mogu generisati. Takođe, način obrade podataka može biti implicitno određen.
[0240] Alternativno, postupak obrade podataka primenjen na svaki od regiona (ovde, svaki od regiona TL do BR u delu 7B na Sl.7), koji treba da se izbriše zajedno sa smanjenjem kroz promenu veličine slike, može biti jedan od postupka za jednostavno uklanjanje regiona koji treba obrisati, postupka uklanjanja regiona koji se briše nakon korišćenja regiona u nizu procesa i slično, i povezane informacije o izboru se mogu generisati. Takođe, način obrade podataka može biti implicitno određen.
[0241] Opisan je primer u kome se promena veličine vrši prema operaciji promene veličine (proširenja ili smanjenja). U nekim slučajevima, opis se može primeniti na primer u kome se vrši operacija promene veličine (ovde, proširenje), a zatim se vrši inverzna operacija promene veličine (ovde, smanjenje).
[0242] Na primer, može se izabrati postupak popunjavanja regiona koji je generisan zajedno sa proširenjem nekim podacima slike, a zatim se može izabrati postupak uklanjanja regiona koji se briše zajedno sa smanjenjem u inverznom procesu nakon korišćenja regiona u procesu obnavljanja ili ispravljanja nekih podataka slike. Alternativno, može se izabrati postupak popunjavanja regiona koji je generisan zajedno sa proširenjem kopiranjem spoljašnjih piksela, a zatim se može izabrati postupak jednostavnog uklanjanja regiona koji treba da se izbriše zajedno sa smanjenjem u inverznom procesu. Odnosno, na osnovu postupka obrade podataka odabranog u procesu promene veličine slike, može se odrediti postupak obrade podataka u inverznom procesu.
[0243] Za razliku od prethodnog primera, postupak obrade podataka procesa promene veličine slike i postupak obrade podataka inverznog procesa mogu imati nezavisnu vezu. Odnosno, bez obzira na postupak obrade podataka izabran u procesu promene veličine slike, može se izabrati postupak obrade podataka u inverznom procesu. Na primer, može se izabrati postupak popunjavanja regiona koji se generiše zajedno sa proširenjem korišćenjem nekih podataka slike, a zatim se može izabrati postupak jednostavnog uklanjanja regiona koji treba da se izbriše zajedno sa smanjenjem u inverznom procesu.
[0244] Prema predmetnom pronalasku, postupak obrade podataka tokom procesa promene veličine slike može se implicitno odrediti u skladu sa postavkama kodiranja/dekodiranja, i postupak obrade podataka tokom inverznog procesa može biti implicitno određen u skladu sa postavkama kodiranja/dekodiranja. Alternativno, postupak obrade podataka tokom procesa promene veličine slike može biti eksplicitno generisan, i postupak obrade podataka tokom inverznog procesa može biti eksplicitno generisan. Alternativno, postupak obrade podataka tokom procesa promene veličine slike može biti eksplicitno generisan, a na osnovu postupka obrade podataka, postupak obrade podataka tokom inverznog procesa može biti implicitno određen.
[0245] Sledeće će biti opisan primer u kome se promena veličine slike vrši u uređaju za kodiranje/dekodiranje prema jednoj realizaciji predmetnog pronalaska. U sledećem opisu, kao primer, proces promene veličine ukazuje na proširenje, a inverzni proces promene veličine ukazuje na smanjenje. Takođe, razlika između slike pre promene veličine i slike nakon promene veličine može se odnositi na veličinu slike, a informacije u vezi sa promenom veličine mogu imati neke delove eksplicitno generisane, a druge delove implicitno određene u zavisnosti od podešavanja kodiranja/dekodiranja. Takođe, informacije u vezi sa promenom veličine mogu da uključuju informacije koje se odnose na proces promene veličine i proces inverzne promene veličine.
[0246] Kao prvi primer, proces promene veličine ulazne slike može se izvršiti pre nego što se započne kodiranje. Veličina ulazne slike se može promeniti korišćenjem informacija o promeni veličine (npr. operacija promene veličine, smer promene veličine, vrednost promene veličine, postupak obrade podataka, itd.; postupak obrade podataka se koristi tokom procesa promene veličine), a zatim se može kodirati. Podaci za kodiranje slike (ovde, slike nakon promene veličine) mogu biti sačuvani u memoriji nakon što je kodiranje završeno, i mogu se dodati u tok bitova i zatim emitovati.
[0247] Proces promene veličine se može izvršiti pre nego što dekodiranje započne. Podaci za dekodiranje slike mogu se promeniti korišćenjem informacija o promeni veličine (npr. operacija promene veličine, smer promene veličine, vrednost promene veličine, itd.), a zatim se mogu raščlaniti da bi se dekodirali. Izlazna slika može biti uskladištena u memoriji nakon završetka dekodiranja i može se promeniti u sliku od pre promene veličine izvođenjem procesa inverzne promene veličine (ovde se koristi postupak obrade podataka ili slično; ovo se koristi u inverznoj promeni veličine proces).
[0248] Kao drugi primer, proces promene veličine referentne slike može se izvesti pre nego što se započne kodiranje. Referentnoj slici se može promeniti veličina korišćenjem informacija o promeni veličine (npr. operacija promene veličine, smer promene veličine, vrednost promene veličine, postupak obrade podataka, itd.; postupak obrade podataka se koristi tokom procesa promene veličine), a zatim se može sačuvati u memoriju (ovde referentna slika promenjene veličine). Slika može biti kodirana korišćenjem referentne slike promenjene veličine. Nakon što je kodiranje završeno, podaci za kodiranje slike (ovde podaci dobijeni kodiranjem pomoću referentne slike) mogu se dodati u tok bitova i zatim emitovati. Takođe, kada je kodirana slika uskladištena u memoriji kao referentna slika, može se izvršiti gornji proces promene veličine.
[0249] Pre nego što započne dekodiranje, može se izvršiti proces promene veličine za referentnu sliku. Referentnoj slici se može promeniti veličina korišćenjem informacija o promeni veličine (npr. operacija promene veličine, smer promene veličine, vrednost promene veličine, postupak obrade podataka, itd.; postupak obrade podataka se koristi tokom procesa promene veličine), a zatim se može sačuvati u memoriju (ovde referentna slika promenjene veličine). Podaci za dekodiranje slike (ovde, koje kodira koder koristeći referentnu sliku) mogu se raščlaniti da bi se dekodirali. Nakon što je dekodiranje završeno, izlazna slika se može generisati. Kada je dekodirana slika uskladištena u memoriji kao referentna slika, može se izvršiti gornji proces promene veličine.
[0250] Kao treći primer, proces promene veličine se može izvršiti na slici pre filtriranja slike (ovde se pretpostavlja filter za deblokiranje) i posle kodiranja (preciznije, pošto je kodiranje, isključujući proces filtriranja, završeno). Veličina slike se može promeniti korišćenjem informacija o promeni veličine (npr. operacija promene veličine, smer promene veličine, vrednost promene veličine, postupak obrade podataka, itd.; postupak obrade podataka se koristi tokom promene veličine), a potom slika nakon promene veličine može biti generisana, a zatim filtrirana. Nakon što je filtriranje završeno, vrši se inverzni proces promene veličine tako da se slika nakon promene veličine može promeniti u sliku pre promene veličine.
[0251] Nakon što je dekodiranje završeno (preciznije, nakon što je dekodiranje, isključujući proces filtriranja, završeno), i pre filtriranja, proces promene veličine se može izvršiti na slici. Veličina slike se može promeniti korišćenjem informacija o promeni veličine (npr. operacija promene veličine, smer promene veličine, vrednost promene veličine, postupak obrade podataka, itd.; postupak obrade podataka se koristi tokom promene veličine), a potom slika nakon promene veličine može biti generisana, a zatim filtrirana. Nakon što je filtriranje završeno, vrši se inverzni proces promene veličine tako da se slika nakon promene veličine može promeniti u sliku od pre promene veličine.
[0252] U nekim slučajevima (prvi primer i treći primer) može se izvršiti proces promene veličine i proces inverzne promene veličine. U drugim slučajevima (drugi primer), može se izvršiti samo proces promene veličine.
[0253] Takođe, u nekim slučajevima (drugi primer i treći primer), isti proces promene veličine se može primeniti na koder i dekoder. U drugim slučajevima (prvi primer), isti ili različiti procesi promene veličine mogu se primeniti na koder i dekoder. Ovde se procesi promene veličine kodera i dekodera mogu razlikovati u smislu koraka izvođenja promene veličine. Na primer, u nekim slučajevima (ovde, koder), može biti uključen korak za izvođenje promene veličine uzimajući u obzir promenu veličine slike i obradu podataka za region promenjene veličine. U drugim slučajevima (ovde, dekoder), korak za izvođenje promene veličine s obzirom na promenu veličine slike može biti uključen. Ovde, prva obrada podataka može odgovarati drugoj obradi podataka tokom procesa inverzne promene veličine.
[0254] Takođe, u nekim slučajevima (treći primer), proces promene veličine se može primeniti samo na odgovarajući korak, a region promene veličine možda neće biti sačuvan u memoriji. Na primer, da bi se koristio region sa promenjenom veličinom u procesu filtriranja, region sa promenjenom veličinom se može uskladištiti u privremenoj memoriji, filtrirati, a zatim ukloniti kroz proces inverzne promene veličine. U ovom slučaju nema promene u veličini slike usled promene veličine. Predmetni pronalazak nije ograničen na gornji primer, i mogu se izvršiti modifikacije.
[0255] Veličina slike se može promeniti kroz proces promene veličine, pa se tako koordinate nekih piksela slike mogu promeniti kroz proces promene veličine. Ovo može uticati na rad dela za particionisanje slike. Prema predmetnom pronalasku, kroz proces, particionisanje zasnovano na blokovima može se izvršiti na osnovu slike pre promene veličine ili slike nakon promene veličine. Takođe, particionisanje zasnovano na jedinici (npr. pločica, isečak/deo slike, itd.) može da se izvrši na osnovu slike pre promene veličine ili slike nakon promene veličine, što se može odrediti u skladu sa postavkama kodiranja/dekodiranja. Prema predmetnom pronalasku, sledeći opis se fokusira na slučaj u kojem deo za particionisanje slike funkcioniše na osnovu slike nakon promene veličine (npr. proces podele na particije slike nakon procesa promene veličine), ali se mogu napraviti i druge modifikacije. Gornji primer će biti opisan u većem broju podešavanja slike koja će biti opisana u nastavku.
[0256] Koder može dodati informacije generisane tokom gornjeg procesa u tok bitova u jedinicama najmanje jedne od sekvenci, slika, isečaka, pločica i slično, a dekoder može raščlaniti povezane informacije iz toka bitova. Takođe, informacije mogu biti uključene u tok bitova u obliku SEI ili metapodataka.
[0257] Generalno, ulazna slika može biti kodirana ili dekodirana onakva kakva jeste ili nakon rekonstrukcije slike. Na primer, rekonstrukcija slike može da se izvrši da bi se poboljšala efikasnost kodiranja slike, rekonstrukcija slike može da se izvrši kako bi se uzelo u obzir mrežno i korisničko okruženje, a rekonstrukcija slike može da se izvrši prema tipu, karakteristikama slike i slično.
[0258] Prema predmetnom pronalasku, proces rekonstrukcije slike može da uključuje proces rekonstrukcije isključivo ili u kombinaciji sa inverznim procesom rekonstrukcije. Sledeći opis primera će se fokusirati na proces rekonstrukcije, ali inverzni proces rekonstrukcije može biti obrnuto izveden iz procesa rekonstrukcije.
[0259] Slika 10 je primer dijagrama rekonstrukcije slike prema jednoj realizaciji predmetnog pronalaska.
[0260] Pretpostavlja se da deo 10A prikazuje početnu ulaznu sliku. Delovi 10A do 10D su primeri dijagrama u kojima se slika rotira za unapred određeni ugao uključujući 0 stepeni (npr. grupa kandidata može biti generisana uzorkovanjem od 360 stepeni u k sekcije; k može imati vrednost od 2, 4, 8 ili kao u ovom primeru, pretpostavlja se da je k 4). Delovi 10E do 10H su primeri dijagrama koji imaju inverznu (ili simetričnu) vezu u odnosu na delove 10A ili u odnosu na delove 10B do 10D.
[0261] Početna pozicija ili redosled skeniranja slike mogu se promeniti u zavisnosti od rekonstrukcije slike, ali početna pozicija i redosled skeniranja mogu biti unapred određeni bez obzira na rekonstrukciju, koji se može odrediti prema podešavanjima kodiranja/dekodiranja. Sledeća realizacija pretpostavlja da su početna pozicija (npr. gornja leva pozicija slike) i redosled skeniranja (npr. rastersko skeniranje) unapred određeni bez obzira na rekonstrukciju slike.
[0262] Postupak kodiranja slike i postupak dekodiranja slike prema jednoj realizaciji predmetnog pronalaska mogu da uključuju sledeće korake rekonstrukcije slike. U ovom slučaju, proces rekonstrukcije slike može da uključuje korak indikacije rekonstrukcije slike, korak identifikacije tipa rekonstrukcije slike i korak izvođenja rekonstrukcije slike. Takođe, uređaj za kodiranje slike i uređaj za dekodiranje slike mogu biti konfigurisani da uključuju deo indikacije rekonstrukcije slike, deo za identifikaciju tipa rekonstrukcije slike i deo za izvođenje rekonstrukcije slike, koji izvode korak indikacije rekonstrukcije slike, korak identifikacije tipa rekonstrukcije slike i korak izvođenja rekonstrukcije slike, tim redosledom. Za kodiranje se može generisati povezani (srodni) sintaksni element. Za dekodiranje, srodni sintaksni element se može raščlaniti.
[0263] U koraku indikacije rekonstrukcije slike, može se odrediti da li da se izvrši rekonstrukcija slike. Na primer, kada se potvrdi signal koji ukazuje na rekonstrukciju slike (npr. convert_enabled_flag), rekonstrukcija se može izvršiti. Kada signal koji ukazuje na rekonstrukciju slike nije potvrđen, rekonstrukcija se možda neće izvršiti ili se rekonstrukcija može izvršiti potvrđivanjem drugih informacija kodiranja/dekodiranja. Takođe, iako signal koji ukazuje na rekonstrukciju slike nije obezbeđen, signal koji ukazuje na rekonstrukciju slike može biti implicitno aktiviran ili deaktiviran u skladu sa postavkama kodiranja/dekodiranja (npr. karakteristike, tip slike i slično). Kada se rekonstrukcija izvrši, odgovarajuće informacije u vezi sa rekonstrukcijom mogu da se generišu ili mogu biti implicitno određene.
[0264] Kada je obezbeđen signal koji ukazuje na rekonstrukciju slike, odgovarajući signal je signal za indikaciju da li da se izvrši rekonstrukcija slike. Da li da se rekonstruiše odgovarajuća slika može se odrediti prema signalu. Na primer, pretpostavlja se da je signal koji ukazuje na rekonstrukciju slike (npr. convert_enabled_flag) potvrđen. Kada se aktivira odgovarajući signal (npr. convert_enabled_flag = 1), rekonstrukcija se može izvršiti. Kada je odgovarajući signal deaktiviran (npr. convert_enabled_flag = 0), rekonstrukcija se možda neće izvršiti.
[0265] Takođe, kada signal koji ukazuje na rekonstrukciju slike nije obezbeđen, rekonstrukcija se možda neće izvršiti, ili se da li će se rekonstruisati odgovarajuća slika može odrediti drugim signalom. Na primer, rekonstrukcija se može izvršiti u skladu sa karakteristikama, tipom slike i slično (npr. slika od 360 stepeni), a informacije o rekonstrukciji mogu biti eksplicitno generisane ili mogu biti dodeljene kao unapred određena vrednost. Predmetni pronalazak nije ograničen na gornji primer, i mogu se izvršiti modifikacije.
[0266] U koraku identifikacije tipa rekonstrukcije slike, tip rekonstrukcije slike može biti identifikovan. Tip rekonstrukcije slike može biti definisan postupkom rekonstrukcije, informacijama o načinu rekonstrukcije i slično. Postupak rekonstrukcije (npr. convert_tipe_flag) može da uključuje okretanje, rotaciju i slično, a informacije o načinu rekonstrukcije mogu da uključuju režim postupka rekonstrukcije (npr. convert_mode). U ovom slučaju, informacije koje se odnose na rekonstrukciju mogu biti sastavljene od informacija o postupku rekonstrukcije i načinu rada. Odnosno, informacije koje se odnose na rekonstrukciju mogu biti sastavljene od najmanje jednog sintaksnog elementa. U ovom slučaju, broj grupa kandidata za informacije o režimu može biti isti ili različit u zavisnosti od postupka rekonstrukcije.
[0267] Na primer, rotacija može da uključuje kandidate koji imaju pravilne intervale (ovde, 90 stepeni) kao što je prikazano u delovima 10A do 10D. Deo 10A prikazuje rotaciju od 0 stepeni, deo 10B prikazuje rotaciju od 90 stepeni, deo 10C prikazuje rotaciju za 180 stepeni, a deo 10D prikazuje rotaciju za 270 stepeni (ovde, koji se mere u smeru kazaljke na satu).
[0268] Kao primer, okretanje može da uključuje kandidate kao što je prikazano u delovima 10A, 10E i 10F. Kada deo 10A ne pokazuje preokretanje, delovi 10E i 10F prikazuju horizontalno i vertikalno okretanje, redom.
[0269] U gornjem primeru su opisane postavke za rotacije koje imaju pravilne intervale i podešavanja za okretanje. Međutim, ovo je samo primer rekonstrukcije slike, a predmetni pronalazak nije ograničen na to i može da uključuje drugu razliku intervala, drugu operaciju okretanja i slično, što se može odrediti prema podešavanjima kodiranja/dekodiranja.
[0270] Alternativno, mogu biti uključene integrisane informacije (npr. convert_com_flag) koje se generišu mešanjem postupka rekonstrukcije i odgovarajućih informacija o režimu. U ovom slučaju, informacije koje se odnose na rekonstrukciju mogu biti mešano sastavljene od informacija o postupku rekonstrukcije i načinu rada.
[0271] Na primer, integrisane informacije mogu da uključuju kandidate kao što je prikazano u delovima 10A do 10F, što mogu biti primeri rotacije od 0 stepeni, rotacije za 90 stepeni, rotacije za 180 stepeni, rotacije za 270 stepeni, horizontalnog okretanja i vertikalnog okretanja u odnosu na deo 10A.
[0272] Alternativno, integrisane informacije mogu da uključuju kandidate kao što je prikazano u delovima 10A do 10H, što mogu biti primeri rotacije od 0 stepeni, rotacije za 90 stepeni, rotacije za 180 stepeni, rotacije za 270 stepeni, horizontalnog okretanja, vertikalnog okretanja, rotacije za 90 stepeni a zatim horizontalnog okretanja (ili horizontalno okretanje, a zatim rotacija za 90 stepeni), i rotacije za 90 stepeni a zatim vertikalnog okretanja (ili vertikalno okretanje, a zatim rotacija za 90 stepeni) ili primeri rotacije od 0 stepeni, rotacije za 90 stepeni, rotacije od 180 stepeni, rotacije za 270 stepeni, horizontalnog okretanja, rotacije za 180 stepeni i zatim horizontalnog okretanja (ili horizontalnog okretanja, a zatim rotacije za 180 stepeni) , rotacije za 90 stepeni a zatim horizontalnog okretanja (ili horizontalno okretanje, a zatim rotacija za 90 stepeni), i rotacije za 270 stepeni a zatim horizontalno okretanje (ili horizontalno okretanje, a zatim rotacija za 270 stepeni).
[0273] Grupa kandidata može biti konfigurisana da uključuje režim rotacije, režim okretanja i kombinovani režim rotacije i okretanja. Kombinovani režim može jednostavno da uključuje informacije o režimu u postupku rekonstrukcije i može da uključuje režim generisan informacijama o režimu mešanja u svakoj postupku. U ovom slučaju, kombinovani režim može da uključuje režim generisan mešanjem najmanje jednog režima nekih postupaka (npr. rotacije) i najmanje jednog režima drugih postupaka (npr. okretanja). U gornjem primeru, kombinovani režim uključuje slučaj generisan kombinovanjem jednog režima nekih postupaka sa više režima nekih postupaka (ovde, rotacija za 90 stepeni višestruko okretanje/horizontalno okretanje višestruke rotacije). Mešovito konstruisane informacije mogu da uključuju slučaj u kojem se rekonstrukcija ne primenjuje (ovde, deo 10A) kao grupa kandidata, a slučaj u kome se rekonstrukcija ne primenjuje može biti uključen kao prva grupa kandidata (npr. #0 je dodeljeno kao indeks).
[0274] Alternativno, mešovito konstruisane informacije mogu da uključuju informacije o načinu rada koje odgovaraju unapred određenom postupku rekonstrukcije. U ovom slučaju, informacije koje se odnose na rekonstrukciju mogu biti sastavljene od informacija o načinu rada koje odgovaraju unapred određenom postupku rekonstrukcije. Odnosno, informacije u vezi sa postupkom rekonstrukcije mogu biti izostavljene, a informacije u vezi sa rekonstrukcijom mogu biti sastavljene od jednog sintaksnog elementa povezanog sa informacijama o režimu.
[0275] Na primer, informacije koje se odnose na rekonstrukciju mogu biti konfigurisane da uključuju kandidate specifične za rotaciju kao što je prikazano u delovima 10A do 10D. Alternativno, informacije koje se odnose na rekonstrukciju mogu biti konfigurisane da uključuju kandidate specifične za okretanje kao što je prikazano u delovima 10A, 10E i 10F.
[0276] Slika pre procesa rekonstrukcije slike i slika posle procesa rekonstrukcije slike mogu imati istu veličinu ili najmanje jednu različitu dužinu, koja se može odrediti prema podešavanjima kodiranja/dekodiranja. Proces rekonstrukcije slike može biti proces preuređivanja piksela na slici (ovde se proces inverznog preuređivanja piksela izvodi tokom procesa rekonstrukcije inverzne slike; ovo može biti obrnuto izvedeno iz procesa preuređivanja piksela), a time se može promeniti i lokacija najmanje jednog piksela. Preuređenje piksela se može izvršiti u skladu sa pravilom zasnovanim na informacijama o tipu rekonstrukcije slike.
[0277] U ovom slučaju, na proces preuređivanja piksela može uticati veličina i oblik (npr. kvadrat ili pravougaonik) slike. Preciznije, širina i visina slike pre procesa rekonstrukcije i širina i visina slike nakon procesa rekonstrukcije mogu delovati kao varijable tokom procesa preuređenja piksela.
[0278] Na primer, informacije o razmerama koje se odnose na najmanje jedan od odnosa širine slike pre procesa rekonstrukcije i širine slike nakon procesa rekonstrukcije, odnosa širine slike pre procesa rekonstrukcije i visine slika nakon procesa rekonstrukcije, odnosa visine slike pre procesa rekonstrukcije i širine slike nakon procesa rekonstrukcije i odnosa visine slike pre procesa rekonstrukcije i visine slike nakon procesa rekonstrukcije (npr. prvi/drugi ili drugi/prvi) mogu delovati kao promenljive tokom procesa preuređenja piksela.
[0279] U primeru, kada slika pre procesa rekonstrukcije i slika nakon procesa rekonstrukcije imaju istu veličinu, odnos širine slike i visine slike može delovati kao promenljiva tokom procesa preuređenja piksela. Takođe, kada je slika u obliku kvadrata, odnos dužine slike pre procesa rekonstrukcije i dužine slike nakon procesa rekonstrukcije mogu delovati kao promenljive tokom procesa preuređenja piksela.
[0280] U koraku izvođenja rekonstrukcije slike, rekonstrukcija slike se može izvršiti na osnovu identifikovanih informacija o rekonstrukciji. Odnosno, rekonstrukcija slike se može izvršiti na osnovu informacija o tipu rekonstrukcije, načinu rekonstrukcije i slično, a kodiranje/dekodiranje se može izvršiti na osnovu dobijene rekonstruisane slike.
[0281] Sledeće će biti opisan primer u kome se rekonstrukcija slike izvodi u uređaju za kodiranje/dekodiranje prema jednoj realizaciji predmetnog pronalaska.
[0282] Proces rekonstrukcije ulazne slike može se izvršiti pre nego što se započne kodiranje. Rekonstrukcija se može izvršiti korišćenjem informacija o rekonstrukciji (npr. tip rekonstrukcije slike, način rekonstrukcije, itd.), a rekonstruisana slika može biti kodirana. Podaci za kodiranje slike mogu biti sačuvani u memoriji nakon što je kodiranje završeno, i mogu se dodati u tok bitova i zatim emitovati.
[0283] Proces rekonstrukcije se može izvršiti pre nego što se započne dekodiranje. Rekonstrukcija se može izvršiti korišćenjem informacija o rekonstrukciji (npr. tip rekonstrukcije slike, način rekonstrukcije, itd.), a podaci za dekodiranje slike mogu se raščlaniti da bi se dekodirali. Slika se može sačuvati u memoriji nakon što je dekodiranje završeno i može se promeniti u sliku pre rekonstrukcije izvođenjem inverznog procesa rekonstrukcije, a zatim poslati na izlaz.
[0284] Koder može dodati informacije generisane tokom gornjeg procesa u tok bitova u jedinicama najmanje jedne od sekvenci, slika, isečaka, pločica i slično, a dekoder može raščlaniti povezane informacije iz toka bitova. Takođe, informacije mogu biti uključene u tok bitova u obliku SEI ili metapodataka.
Tabela 1.
[0285] Tabela 1 predstavlja primere elemenata sintakse povezanih sa particionisanjem između postavki slike. Sledeći opis će se fokusirati na dodatni element sintakse. Takođe, u sledećem primeru, element sintakse nije ograničen ni na jednu specifičnu jedinicu i može biti podržan u različitim jedinicama kao što su sekvenca, slika, isečak i pločica. Alternativno, element sintakse može biti uključen u SEI, metapodatke i slično. Takođe, tip, red, uslov i slično podržanog elementa sintakse u sledećem primeru su ograničeni samo na primer i stoga se mogu promeniti i odrediti u skladu sa postavkama kodiranja/dekodiranja.
[0286] U Tabeli 1, tile_header_enabled_flag označava element sintakse koji pokazuje da li treba podržati postavke kodiranja/dekodiranja za pločicu. Kada je element sintakse aktiviran (tile_header enabled flag = 1), mogu se obezbediti podešavanja kodiranja/dekodiranja u jedinici pločica. Kada je element sintakse deaktiviran (tile_header_enabled_flag = 0), podešavanja kodiranja/dekodiranja u jedinici pločica ne mogu biti obezbeđena, a podešavanja kodiranja/dekodiranja u gornjoj jedinici se mogu dodeliti.
[0287] Takođe, tile_coded_flag označava element sintakse koji pokazuje da li treba kodirati ili dekodirati pločicu. Kada je element sintakse aktiviran (tile_coded_flag = 1), odgovarajuća pločica može biti kodirana ili dekodirana. Kada je sintaksni element deaktiviran (tile_coded_flag = 0), odgovarajuća pločica se ne može kodirati ili dekodirati. Ovde, kodiranje koje nije izvršeno može značiti da se podaci kodiranja ne generišu za odgovarajuću pločicu (ovde se pretpostavlja da se odgovarajući region obrađuje unapred određenim pravilom i slično; primenljivo na besmisleni region u nekim formatima projekcije slike od 360-stepeni). Dekodiranje nije izvršeno znači da se podaci dekodiranja u odgovarajućoj pločici više ne raščlanjuju (ovde se pretpostavlja da se odgovarajući region obrađuje po unapred određenom pravilu). Takođe, dekodiranje podataka koje se više ne raščlanjuje može značiti da podaci kodiranja nisu prisutni u odgovarajućoj jedinici i da se raščlanjivanje više ne vrši, a takođe može značiti da čak i kroz podatke kodiranja prisutne, raščlanjivanje više ne obavlja zastavica. Informacije zaglavlja jedinice pločica mogu biti podržane u zavisnosti od toga da li se pločica kodira ili dekodira.
[0288] Gornji primer se fokusirao na pločicu. Međutim, predmetni pronalazak nije ograničen na pločice, i gornji opis se može modifikovati i zatim primeniti na druge jedinice za particionisanje predmetnog pronalaska. Takođe, primer podešavanja particionisanja pločica nije ograničen na gornji slučaj i mogu se izvršiti modifikacije.
Tabela 2
[0289] Tabela 2 predstavlja primere elemenata sintakse povezanih sa rekonstrukcijom između podešavanja slike.
[0290] Uz upućivanje na Tabelu 2, convert_enabled_flag označava element sintakse koji ukazuje da li treba izvršiti rekonstrukciju. Kada je element sintakse aktiviran (convert_enabled_flag = 1), rekonstruisana slika se kodira ili dekodira i mogu se proveriti dodatne informacije u vezi sa rekonstrukcijom. Kada je sintaktički element deaktiviran (convert_enabled_flag = 0), originalna slika se kodira ili dekodira.
[0291] Takođe, convert_tipe_flag označava mešovite informacije u vezi sa postupkom rekonstrukcije i informacijama o režimu. Jedan postupak se može odrediti iz više grupa kandidata za postupak primene rotacije, postupak primene okretanja i postupak primenjene rotiranja i okretanja.
Tabela 3
[0292] Tabela 3 predstavlja primere elemenata sintakse povezane sa promenom veličine između podešavanja slike.
[0293] Uz upućivanje na Tabelu 3, pic width_in samples i pic_height_in_samples označavaju elemente sintakse koji ukazuju na širinu i visinu slike. Veličina slike se može proveriti kroz elemente sintakse.
[0294] Takođe, img_resizing_enabled_flag označava element sintakse koji ukazuje da li treba izvršiti promenu veličine slike. Kada je element sintakse aktiviran (img_resizing_enabled_flag = 1), slika se kodira ili dekodira nakon promene veličine i mogu se proveriti dodatne informacije u vezi sa promenom veličine. Kada je sintaksni element deaktiviran (img_resizing_enabled_flag = 0), originalna slika se kodira ili dekodira. Takođe, element sintakse može ukazivati na promenu veličine za intrapredikciju.
[0295] Takođe, resizing_met_flag označava postupak promene veličine. Jedan postupak promene veličine može biti određen iz grupe kandidata kao što je postupak promene veličine zasnovan na faktoru skaliranja (resizing_met_flag = 0), postupak promene veličine zasnovana na faktoru pomeraja (resizing_met_flag = 1) i slično.
[0296] Takođe, resizing_mov_flag označava element sintakse za operaciju promene veličine. Na primer, može se odrediti jedno od proširenja i smanjenja.
[0297] Takođe, width_scale i height_scale označavaju faktore razmere povezane sa horizontalnom promenom veličine i vertikalnom promenom veličine kod promene veličine na osnovu faktora skaliranja.
[0298] Takođe, top_height_offset i bottom_height_offset označavaju faktor pomeraja za smer „gore” i faktor pomeraja za smer „dole”, koji su povezani sa horizontalnom promenom veličine promene veličine na osnovu faktora pomeraja, a left_width_offset i right_width_offset označavaju faktor pomeraja za smer „levo” i faktor pomeraja za smer „desno”, koji su povezani sa vertikalnom promenom veličine promene veličine na osnovu faktora pomeraja.
[0299] Veličina slike nakon promene veličine može se ažurirati putem informacija koje se odnose na promenu veličine i informacija o veličini slike.
[0300] Takođe, resizing_type_flag označava element sintakse koji ukazuje na postupak obrade podataka za region promenjene veličine. Broj grupa kandidata za postupak obrade podataka može biti isti ili različit u zavisnosti od postupka promene veličine i operacije promene veličine.
[0301] Procesi podešavanja slike primenjeni na gore opisani uređaj za kodiranje/dekodiranje slike mogu se izvoditi pojedinačno ili u kombinaciji. Sledeći opis primera će se fokusirati na primer u kome se mnoštvo procesa podešavanja slike izvodi u kombinaciji.
[0302] Slika 11 je primer dijagrama koji prikazuje slike pre i posle procesa postavljanja slike prema jednoj realizaciji predmetnog pronalaska. Preciznije, deo 11A prikazuje primer pre nego što se rekonstrukcija slike izvrši na podeljenoj slici (npr. slici projektovanoj tokom kodiranja slike od 360 stepeni, a deo 11B prikazuje sliku nakon što se rekonstrukcija slike izvrši na particionisanoj slici (npr. slici upakovanoj tokom kodiranja slike od 360 stepeni). Odnosno, može se razumeti da je deo 11A primer dijagrama pre nego što se izvrši proces podešavanja slike, a deo 11B je primer dijagrama nakon što se izvrši proces podešavanja slike.
[0303] U ovom primeru, particionisanje slike (ovde se pretpostavlja pločica) i rekonstrukcija slike biće opisani kao proces podešavanja slike.
[0304] U sledećem primeru, rekonstrukcija slike se izvodi nakon što se izvrši particionisanje slike. Međutim, u skladu sa postavkama kodiranja/dekodiranja, particionisanje slike se može izvršiti nakon što se izvrši rekonstrukcija slike, i mogu se izvršiti modifikacije. Takođe, gore opisani proces rekonstrukcije slike (uključujući inverzni proces) može se primeniti identično ili slično procesu rekonstrukcije u jedinicama za particionisanje na slici u ovoj realizaciji.
[0305] Rekonstrukcija slike može, ali ne mora da se izvrši u svim jedinicama za particionisanje na slici, a može da se izvrši u nekim jedinicama za particionisanje. Shodno tome, jedinica za particionisanje pre rekonstrukcije (npr. neki od P0 do P5) može ili ne mora biti ista kao jedinica za particionisanje nakon rekonstrukcije (npr. neki od S0 do S5). Kroz sledeći primer biće opisani različiti slučajevi rekonstrukcije slike. Takođe, radi lakšeg opisa, pretpostavlja se da je jedinica slike slika (picture), jedinica particionisane slike je pločica (tile), a jedinica za particionisanje je u obliku pravougaonika.
[0306] Na primer, da li da se izvrši rekonstrukcija slike može se odrediti u nekim jedinicama (npr. sps_convert_enabled_flag ili SEI ili metapodacima, itd.). Alternativno, da li da se izvrši rekonstrukcija slike može se odrediti u nekim jedinicama (npr. pps_convert_enabled_flag). Ovo može biti dozvoljeno kada se pojavi u odgovarajućoj jedinici (ovde, slika) prvi put ili kada se aktivira u gornjoj jedinici (npr. sps_convert_enabied_flag = 1). Alternativno, da li da se izvrši rekonstrukcija slike može se odrediti u nekim jedinicama (npr. tile_convert_flag[i]; i je indeks jedinice za particionisanje). Ovo može biti dozvoljeno kada se pojavi u odgovarajućoj jedinici (ovde, pločica) prvi put ili kada se aktivira u gornjoj jedinici (npr. pps_convert_enabled_flag = 1). Takođe, delimično, da li da se izvrši rekonstrukcija slike može se implicitno odrediti u skladu sa postavkama kodiranja/dekodiranja, i stoga povezane informacije mogu biti izostavljene.
[0307] Kao primer, da li da se rekonstruišu jedinice za particionisanje na slici može se odrediti prema signalu koji ukazuje na rekonstrukciju slike (npr. pps_convert_enabled_flag). Preciznije, da li da se rekonstruišu sve particionisane jedinice na slici, može se odrediti prema signalu. U ovom slučaju, jedan signal koji ukazuje na rekonstrukciju slike može biti generisan na slici.
[0308] Kao primer, da li da se rekonstruišu jedinice za particionisanje na slici može se odrediti prema signalu koji ukazuje na rekonstrukciju slike (npr. tile_convert_flag[i]). Preciznije, da li treba rekonstruisati neke od particionisanih jedinica na slici, može se odrediti prema signalu. U ovom slučaju, može se generisati najmanje jedan signal koji ukazuje na rekonstrukciju slike (npr. broj signala jednak broju jedinica za particionisanje).
[0309] Na primer, da li da se rekonstruiše slika može se odrediti prema signalu koji ukazuje na rekonstrukciju slike (npr. pps_convert_enabled_flagi]), a da li će se rekonstruisati jedinice za particionisanje na slici može se odrediti prema signalu koji ukazuje na rekonstrukciju slike (npr. tile_convert_flag[i]). Preciznije, kada se aktivira bilo koji signal (npr. pps_convert_enabled_flag = 1), bilo koji drugi signal (npr. tile_convert_flag[i]) se može dodatno proveriti, a da li treba rekonstruisati neke od particionisanih jedinica na slici može se odrediti prema signalu (ovde, tile_convert_flag[i]). U ovom slučaju, može se generisati više signala koji ukazuju na rekonstrukciju slike.
[0310] Kada se aktivira signal koji ukazuje na rekonstrukciju slike, mogu se generisati informacije u vezi sa rekonstrukcijom slike. U sledećem primeru biće opisane razne informacije u vezi sa rekonstrukcijom slike.
[0311] Kao primer, mogu se generisati informacije o rekonstrukciji primenjene na sliku. Preciznije, jedna informacija o rekonstrukciji može se koristiti kao informacija o rekonstrukciji za sve jedinice za particionisanje na slici.
[0312] Kao primer, mogu se generisati informacije o rekonstrukciji primenjene na jedinice za particionisanje na slici. Preciznije, najmanje jedna informacija o rekonstrukciji može se koristiti kao informacija o rekonstrukciji za neke od jedinica za particionisanje na slici. Odnosno, jedna informacija o rekonstrukciji može da se koristi kao informacija o rekonstrukciji za jednu jedinicu za particionisanje ili jedan deo informacija o rekonstrukciji može da se koristi kao informacija o rekonstrukciji za više jedinica za particionisanje.
[0313] Sledeći primer će biti opisan u kombinaciji sa primerom u kome se vrši rekonstrukcija slike.
[0314] Na primer, kada se aktivira signal koji ukazuje na rekonstrukciju slike (npr. pps_convert_enabled_flag), mogu se generisati informacije o rekonstrukciji koje se primenjuju zajedno na jedinice za particionisanje na slici. Alternativno, kada se aktivira signal koji ukazuje na rekonstrukciju slike (npr. pps_convert_enabled_flag), mogu se generisati informacije o rekonstrukciji koje se primenjuju pojedinačno na jedinice za particionisanje na slici. Alternativno, kada se aktivira signal koji ukazuje na rekonstrukciju slike (npr. tile_convert_flag[i]), mogu se generisati informacije o rekonstrukciji koje se primenjuju pojedinačno na jedinice za particionisanje na slici. Alternativno, kada se aktivira signal koji ukazuje na rekonstrukciju slike (npr. tile_convert_flag[i]), mogu se generisati informacije o rekonstrukciji koje se primenjuju zajednička na jedinice za particionisanje na slici.
[0315] Informacije o rekonstrukciji mogu biti implicitno ili eksplicitno obrađene u zavisnosti od podešavanja kodiranja/dekodiranja. Za implicitnu obradu, informacije o rekonstrukciji mogu biti dodeljene kao unapred određena vrednost u zavisnosti od karakteristika, tipa slike i sličnog.
[0316] P0 do P5 u delu 11A može odgovarati S0 do S5 u delu 11B, a proces rekonstrukcije se može izvršiti na jedinicama za particionisanje. Na primer, P0 se možda neće rekonstruisati i tada može biti dodeljen S0. P1 se može rotirati za 90 stepeni i tada se može dodeliti S1. P2 se može rotirati za 180 stepeni i tada se može dodeliti S2. P3 se može horizontalno okrenuti i tada se može dodeliti S3. P4 se može rotirati za 90 stepeni i horizontalno okrenuti, i tada se može dodeliti S4. P5 se može rotirati za 180 stepeni i horizontalno okrenuti, i tada se može dodeliti S5.
[0317] Međutim, predmetni pronalazak nije ograničen na gornji primer i mogu se izvršiti različite modifikacije. Poput prethodnog primera, jedinice za particionisanje na slici se ne mogu rekonstruisati ili se može izvršiti barem jedna od rekonstrukcije korišćenjem rotacije, rekonstrukcije korišćenjem okretanja i rekonstrukcije korišćenjem rotacije i okretanja u kombinaciji.
[0318] Kada se rekonstrukcija slike primeni na jedinice za particionisanje, može se izvršiti dodatni proces rekonstrukcije kao što je preuređenje jedinice za particionisanje. Odnosno, proces rekonstrukcije slike prema predmetnom pronalasku može biti konfigurisan tako da uključuje preuređenje jedinica za particionisanje na slici, kao i preuređenje piksela na slici i može biti predstavljen korišćenjem nekih sintaksnih elemenata u Tabeli 4 (npr. part_top, part_left , part_width, part_height i slično). To znači da se proces podele na particije slike i proces rekonstrukcije slike mogu razumeti u kombinaciji. U gornjem primeru je opisano da je slika podeljena na više jedinica.
[0319] P0 do P5 u delu 11A može odgovarati S0 do S5 u delu 11B, a proces rekonstrukcije se može izvršiti na jedinicama za particionisanje. Na primer, P0 se možda neće rekonstruisati i tada može biti dodeljen S0. P1 se ne može rekonstruisati i tada može biti dodeljen S2. P2 se može rotirati za 90 stepeni i tada se može dodeliti S1. P3 se može horizontalno okrenuti i zatim se može dodeliti S4. P4 se može rotirati za 90 stepeni i horizontalno okrenuti i zatim se može dodeliti S5. P5 se može horizontalno okrenuti i zatim rotirati za 180 stepeni, a zatim se može dodeliti S3. Predmetni pronalazak nije ograničen na to, a takođe se mogu izvršiti različite modifikacije.
[0320] Takođe, P_Width i P_Height na Sl. 7 može odgovarati P_Width i P_Height sa Sl. 11, i P'_Width i P'_Height sa Sl.7 može odgovarati P'_Width i P'_Height sa Sl.11. Veličina slike nakon promene veličine na Sl.7, koja je P'_Width x P'_Height, može se izraziti kao (P_Width Exp_L Exp_R) x (P_Height Exp_T Exp_B), a veličina slike nakon promene veličine na Sl.11, što je P'_Width x P'_Height, može se izraziti kao (P_Width Var0_L Var1_L Var2_L Var0_R Var1_R Var2_R) x (P_Height Var0_T Var1_T Var0_B Var1_B) ili (Sub_P0_Width Sub_P1 Width Sub_P2_Width Var0_L Var1_L Var2_L Var0_R Var1_R Var2_R) x (Sub_P0_Height Sub_P1_Height Var0_T Var1_T Var0_B Var1_B).
[0321] Kao u gornjem primeru, za rekonstrukciju slike, može se izvršiti preraspodela piksela u jedinicama za particionisanje slike, preraspodela jedinica za particionisanje na slici, i može se izvršiti preraspodela piksela u jedinicama za particionisanje slike i preraspodela jedinice za particionisanje na slici. U ovom slučaju, preraspodela jedinica za particionisanje na slici se može izvršiti nakon što se izvrši preraspodela piksela u jedinicama za particionisanje, ili se preraspodela piksela u jedinicama za particionisanje može izvršiti nakon što se izvrši preraspodela jedinica za particionisanje na slici.
[0322] Da li da se izvrši preuređenje jedinica za particionisanje na slici može se odrediti prema signalu koji ukazuje na rekonstrukciju slike. Alternativno, može se generisati signal za preraspodelu jedinica za particionisanje na slici. Preciznije, kada se aktivira signal koji ukazuje na rekonstrukciju slike, signal se može generisati. Alternativno, signal može biti implicitno ili eksplicitno obrađen u zavisnosti od podešavanja kodiranja/dekodiranja. Za implicitnu obradu, signal se može odrediti u zavisnosti od karakteristika, tipa slike i sličnog.
[0323] Takođe, informacije u vezi sa preraspodelom jedinica za particionisanje na slici mogu biti implicitno ili eksplicitno izvedene u zavisnosti od podešavanja kodiranja/dekodiranja i mogu se odrediti prema karakteristikama, tipu slike i slično. Odnosno, svaka od jedinica za particionisanje može biti raspoređena prema informacijama o rasporedu unapred određenim za jedinice za particionisanje.
[0324] Sledeće, biće opisan primer u kome se jedinice za particionisanje na slici rekonstruišu u uređaju za kodiranje/dekodiranje prema jednoj realizaciji predmetnog pronalaska.
[0325] Proces podele na particije se može izvršiti na ulaznoj slici korišćenjem informacija o particionisanju pre nego što se započne kodiranje. Proces rekonstrukcije se može izvršiti na jedinicama za particionisanje korišćenjem informacije o rekonstrukciji, a slika rekonstruisana za svaku jedinicu za particionisanje može biti kodirana. Podaci za kodiranje slike mogu biti uskladišteni u memoriji nakon što je kodiranje završeno, i mogu se dodati u tok bitova i zatim preneti.
[0326] Proces podele na particije se može izvršiti korišćenjem informacija o particionisanju pre nego što dekodiranje započne. Proces rekonstrukcije se može izvršiti na jedinicama za particionisanje korišćenjem informacija o rekonstrukciji, a podaci za dekodiranje slike mogu se raščlaniti da bi se dekodirali u rekonstruisanim jedinicama za particionisanje. Podaci za dekodiranje slike mogu biti uskladišteni u memoriji nakon što je dekodiranje završeno, a veći broj jedinica za particionisanje se spaja u jednu jedinicu nakon što se izvrši inverzni proces rekonstrukcije u jedinicama za particionisanje, i na taj način slika može biti poslata na izlaz.
[0327] Slika 12 je primer dijagrama promene veličine svake jedinice za particionisanje slike prema jednoj realizaciji predmetnog pronalaska. P0 do P5 sa Sl.12 odgovaraju P0 do P5 sa Sl.11, i S0 do S5 sa Sl.12 odgovaraju S0 do S5 sa Sl.11.
[0328] U sledećem primeru, opis će se fokusirati na slučaj u kome se promena veličine slike vrši nakon što se izvrši particionisanje slike. Međutim, particionisanje slike se može izvršiti nakon što se izvrši promena veličine slike, u zavisnosti od podešavanja kodiranja/dekodiranja, i mogu se izvršiti modifikacije. Takođe, gore opisani proces promene veličine slike (uključujući inverzni proces) može se primeniti identično ili slično procesu promene veličine jedinice za particionisanje slike u ovoj realizaciji.
[0329] Na primer, TL do BR sa Sl. 7 može odgovarati TL do BR jedinica za particionisanje SX (S0 do S5) sa Sl. 12. S0 i S1 sa Sl.7 može odgovarati PX i SX sa Sl. 12. P_Width i P_Height na Sl. 7 može odgovarati Sub_PX_Width i Sub_PX_Height sa Sl.12. P'_Width i P'_Height na Sl.7 može odgovarati Sub_SX_Width i Sub_SX_Height sa Sl.12. Exp_L, Exp_R, Exp_T i Exp_B sa Sl. 7 može odgovarati VarX_L, VarX_R, VarX_T i VarX_B sa Sl.12, a mogu odgovarati i drugi faktori.
[0330] Proces promene veličine jedinica za particionisanje na slici u delovima 12A do 12F može se razlikovati od proširenja ili smanjenja slike u delovima 7A i 7B na Sl.7 pri čemu podešavanja za proširenje ili smanjenje slike mogu biti prisutna proporcionalno broju jedinica za particionisanje. Takođe, proces promene veličine jedinica za particionisanje na slici može se razlikovati od proširenja ili smanjenja slike u smislu da se podešavanja primenjuju zajedno ili pojedinačno na jedinice za particionisanje na slici. U sledećem primeru biće opisani različiti slučajevi promene veličine, a proces promene veličine se može izvršiti uzimajući u obzir gornji opis.
[0331] Prema predmetnom pronalasku, promena veličine slike može, ali ne mora da se izvrši na svim jedinicama za particionisanje na slici i može da se izvrši na nekim jedinicama za particionisanje. Kroz sledeći primer biće opisani različiti slučajevi promene veličine slike. Takođe, radi lakšeg opisa, pretpostavlja se da je operacija promene veličine za proširenje, da je operacija promene veličine zasnovana na faktoru pomeranja, smer promene veličine je smer „gore”, smer „dole”, smer „levo”, i smer „desno”, smer promene veličine je podešen da deluje na osnovu informacija o promeni veličine, jedinica slike je slika (picture), a jedinica podeljene slike je pločica (tile).
[0332] Na primer, da li da se izvrši promena veličine slike može se odrediti u nekim jedinicama (npr. sps_img_resizing_enabled_flag ili SEI ili metapodacima, itd.). Alternativno, da li da se izvrši promena veličine slike može se odrediti u nekim jedinicama (npr. pps_img_resizing_enabled_flag). Ovo može biti dozvoljeno kada se pojavi u odgovarajućoj jedinici (ovde, slika) prvi put ili kada se aktivira u gornjoj jedinici (npr.
sps_img_resizing_enabled_flag = 1). Alternativno, da li da se izvrši promena veličine slike može se odrediti u nekim jedinicama (npr. tile_resizing_flag[i]; i je indeks jedinice za particionisanje). Ovo može biti dozvoljeno kada se pojavi u odgovarajućoj jedinici (ovde, pločica) prvi put ili kada se aktivira u gornjoj jedinici. Takođe, delimično, da li će se izvršiti promena veličine slike može se implicitno odrediti u skladu sa postavkama kodiranja/dekodiranja, i stoga povezane informacije mogu biti izostavljene.
[0333] Kao primer, da li treba promeniti veličinu jedinica za particionisanje na slici može se odrediti prema signalu koji ukazuje na promenu veličine slike (npr. pps_img_resizing_enabled_flag). Preciznije, da li treba promeniti veličinu svih jedinica za particionisanje na slici, može se odrediti prema signalu. U ovom slučaju, može se generisati jedan signal koji ukazuje na promenu veličine slike.
[0334] Kao primer, da li treba promeniti veličinu jedinica za particionisanje na slici može se odrediti prema signalu koji ukazuje na promenu veličine slike (npr. tile_resizing_flag[i]). Preciznije, da li treba promeniti veličinu nekih jedinica za particionisanje na slici može se odrediti prema signalu. U ovom slučaju, može da se generiše najmanje jedan signal koji ukazuje na promenu veličine slike (npr. broj signala jednak broju jedinica za particionisanje).
[0335] Na primer, da li treba promeniti veličinu slike može se odrediti prema signalu koji ukazuje na promenu veličine slike (npr. pps_img_resizing_enabled_flag), a da li treba promeniti veličinu jedinica za particionisanje na slici može se odrediti prema signalu koji ukazuje na promenu veličine slike (npr. tile_resizing flag[ i]). Preciznije, kada se aktivira bilo koji signal (npr. pps_img_resizing_enabled_flag = 1), bilo koji drugi signal (npr. tile_resizing_flag[i]) može se dodatno proveriti, i da li se promena veličina nekih jedinica particije na slici može izvršiti u skladu sa signalom (ovde, tile_resizing_flag[i]). U ovom slučaju, može se generisati više signala koji ukazuju na promenu veličine slike.
[0336] Kada se aktivira signal koji ukazuje na promenu veličine slike, mogu se generisati informacije u vezi sa promenom veličine slike. U sledećem primeru biće opisane razne informacije u vezi sa promenom veličine slike.
[0337] Na primer, mogu se generisati informacije o promeni veličine primenjene na sliku. Preciznije, jedna informacija o promeni veličine ili skup informacija o promeni veličine može se koristiti kao informacija o promeni veličine za sve jedinice za particionisanje na slici. Na primer, jedna informacija o promeni veličine primenjena je zajednička na smer „gore”, smer „dole”, smer „levo” i smer „desno” particionisanja jedinica na slici (ili vrednost promene veličine primenjena na sve smerove promene veličine koji su podržani ili dozvoljeni u jedinicama za particionisanje; u ovom primeru, jedna informacija) ili skup informacija o promeni veličine primenjenih pojedinačno na smer „gore”, smer „dole”, smer „levo”; smer „desno” (ili broj delova informacija o promeni veličine jednak broju smerova promene veličine koje dozvoljava ili podržava jedinica za particionisanje; u ovom primeru, do četiri informacije) može da se generiše.
[0338] Kao primer, mogu se generisati informacije o promeni veličine primenjene na jedinice za particionisanje na slici. Preciznije, najmanje jedan deo informacije o promeni veličine ili skup informacija o promeni veličine može se koristiti kao informacija o promeni veličine za sve jedinice za particionisanje na slici. Odnosno, jedna informacija o promeni veličine ili skup informacija o promeni veličine može se koristiti kao informacija o promeni veličine za jednu jedinicu za particionisanje ili kao informacija o promeni veličine za više jedinica za particionisanje. Na primer, može da se generiše deo informacije o promeni veličine koja se primenjuje u smeru „gore”, „dole”, „levo” i „desno” za jednu jedinicu za particionisanje na slici, ili se mogu generisati delovi informacija o promeni veličine pojedinačno primenjeni na smer „gore”, „dole”, „levo” i „desno”. Alternativno, može da se generiše deo informacije o promeni veličine koja se primenjuje zajednički na smer „gore”, smer „dole”, smer „levo” i smer „desno” za veći broj jedinica za particionisanje na slici, ili može da se generiše skup delova informacija o promeni veličine pojedinačno primenjenih na smer „gore”, „dole”, „levo” i „desno”. Konfiguracija skupa za promenu veličine znači informacije o promeni veličine u vezi sa najmanje jednim smerom promene veličine.
[0339] Ukratko, mogu se generisati informacije o promeni veličine koje se primenjuju zajedno na jedinice za particionisanje na slici. Alternativno, mogu se generisati informacije o promeni veličine koje se pojedinačno primenjuju na jedinice za particionisanje na slici. Sledeći primer će biti opisan u kombinaciji sa primerom u kome se vrši promena veličine slike.
[0340] Na primer, kada se aktivira signal koji ukazuje na promenu veličine slike (npr. pps_img_resizing_enabled_flag), može se generisati informacija o promeni veličine koja se primenjuje zajednički na jedinice za particionisanje na slici. Alternativno, kada je aktiviran signal koji ukazuje na promenu veličine slike (npr. pps_img_resizing_enabled_flag), može se generisati informacija o promeni veličine koja se primenjuje pojedinačno na jedinice za particionisanje na slici. Alternativno, kada je aktiviran signal koji ukazuje na promenu veličine slike (npr. tile_resizing_flag[i]), može se generisati informacija o promeni veličine koja se primenjuje pojedinačno na jedinice za particionisanje na slici. Alternativno, kada je aktiviran signal koji ukazuje na promenu veličine slike (npr. tile_resizing_flag[i]), može se generisati informacija o promeni veličine koja se primenjuje zajednički na jedinice za particionisanje na slici.
[0341] Smer promene veličine, informacije o promeni veličine slike i slično mogu se implicitno ili eksplicitno obraditi u zavisnosti od podešavanja kodiranja/dekodiranja. Za implicitnu obradu, informacija o promeni veličine može biti dodeljena kao unapred određena vrednost u zavisnosti od karakteristika, tipa slike i sličnog.
[0342] Opisano je da smer promene veličine u procesu promene veličine predmetnog pronalaska može biti najmanje jedan od smera „gore”, smera „dole”, smera „levo” i smera „desno” a smer promene veličine i informacije o promeni veličine mogu se obraditi eksplicitno ili implicitno. Odnosno, vrednost promene veličine (uključujući 0; to znači da nema promene veličine) može biti implicitno unapred određena za neke pravce, a vrednost promene veličine (uključujući 0; to znači da nema promene veličine) može biti eksplicitno dodeljena drugim pravcima.
[0343] Čak i u jedinici za particionisanje na slici, pravac promene veličine i informacija o promeni veličine mogu biti podešeni da budu implicitno ili eksplicitno obrađeni, a to se može primeniti na jedinicu za particionisanje na slici. Na primer, može doći do podešavanja primenjenog na jednu jedinicu za particionisanje na slici (ovde se može pojaviti broj podešavanja jednak broju jedinica za particionisanje), može doći do podešavanja primenjenog na više jedinica za particionisanje na slici ili može doći do podešavanja primenjenog na sve jedinice za particionisanje na slici (ovde se može desiti jedno podešavanje), a na slici se može pojaviti konačno jedno podešavanje (npr. može se pojaviti jedan do broja podešavanja jednakog broju jedinica za particionisanje). Informacije o podešavanjima koje se primenjuju na jedinice za particionisanje na slici mogu se prikupiti i može se definisati jedan skup podešavanja.
[0344] Sl. 13 je primer dijagrama skupa promene veličine ili podešavanja jedinice za particionisanje na slici.
[0345] Preciznije, Sl. 13 prikazuje različite primere implicitne ili eksplicitne obrade smera promene veličine i informacija o promeni veličine za particionisanje jedinica na slici. U sledećem primeru, radi pogodnosti opisa, implicitna obrada pretpostavlja da su vrednosti promene veličine nekih pravaca promene veličine 0.
[0346] Kao što je prikazano u delu 13A, promena veličine se može eksplicitno obraditi kada se granica jedinice za particionisanje poklapa sa granicom slike (ovde, debela puna linija), a promena veličine može biti implicitno obrađena kada se granica jedinice za particionisanje ne podudara sa granicom slike (tanka puna linija). Na primer, veličina P0 se može promeniti u smeru „gore” i „levo” (a2 i a0), P1 se može promeniti u pravcu „gore” (a2), P2 se može promeniti u smeru „gore” i smeru „desno” (a2 i a1), P3 se može promeniti u smeru „dole” i „levo” (a3 i a0), P4 se može promeniti u smeru „dole” (a3), a P5 može promeniti veličinu u smeru „dole” i „desno” (a3 i a1). U ovom slučaju, promena veličine možda neće biti dozvoljena u drugim pravcima.
[0347] Kao što je prikazano u delu 13B, neki smerovi (ovde, gore i dole) jedinice za particionisanje mogu dozvoliti da se promena veličine eksplicitno obradi, a neki smerovi (ovde, levo i desno) jedinice za particionisanje mogu dozvoliti da se promena veličine eksplicitno obradi (ovde, debela puna linija) kada se granica jedinice za particionisanje poklapa sa granicom slike i može se dozvoliti da se promena veličine implicitno obradi (ovde, tanka puna linija) kada se granica jedinice za particionisanje ne poklapa sa granicom slike. Na primer, P0 se može promeniti u smeru „gore”, „dole” i „levo” (b2, b3 i b0), P1 se može promeniti u smeru „gore” i smeru „dole” (b2 i b3), P2 se može promeniti u smeru „gore”, „dole” i „desno” (b2, b3 i b1), P3 se može promeniti u smeru „gore”, smeru „dole” i „levo” (b3, b4 i b0), P4 se može promeniti u smeru „gore” i „dole” (b3 i b4), a P5 se može promeniti u smeru „gore”, smeru „dole” i smeru „desno” (b3, b4 i b1). U ovom slučaju, promena veličine možda neće biti dozvoljena u drugim pravcima.
[0348] Kao što je prikazano u delu 13C, neki pravci (ovde, levo i desno) jedinice za particionisanje mogu dozvoliti da se promena veličine eksplicitno obradi, a neki pravci (ovde, gore i dole) jedinice za particionisanje mogu dozvoliti da se promena veličine eksplicitno obradi (ovde, debela puna linija) kada se granica jedinice za particionisanje poklapa sa granicom slike i može se dozvoliti da se promena veličine implicitno obradi (ovde, tanka puna linija) kada se granica jedinice za particionisanje ne poklapa sa granicom slike. Na primer, veličina P0 se može promeniti u smeru „gore”, „levo” i „desno” (c4, c0 i c1), P1 se može promeniti u smeru „gore”, smeru „levo” i smeru „desno” (c4, c1 i c2), P2 može da se promeni u smeru „gore”, „levo” i „desno” (c4, c2 i c3), P3 može se promeniti u smeru „dole”, „levo” i „desno” (c5, c0 i c1), P4 se može promeniti u smeru „dole”, „levo” i „desno” (c5, c1 i c2), a P5 se može promeniti u smeru „dole”, „levo” i „desno” (c5, c2 i c3). U ovom slučaju, promena veličine možda neće biti dozvoljena u drugim smerovima.
[0349] Podešavanja koja se odnose na promenu veličine slike kao u gornjem primeru mogu imati različite slučajeve. Podržan je veći broj skupova podešavanja tako da informacije o izboru skupa podešavanja mogu biti eksplicitno generisane, ili unapred određeni skup podešavanja može biti implicitno određen u skladu sa postavkama kodiranja/dekodiranja (npr. karakteristike, tip slike i slično).
[0350] Sl.14 je primer dijagrama u kome su predstavljeni i proces promene veličine slike i proces promene veličine jedinica za particionisanje na slici.
[0351] Uz upućivanje na Sl.14, proces promene veličine slike i inverzni proces može da se odvija u pravcima e i f, a proces promene veličine jedinica za particionisanje na slici i inverzni proces može da se odvija u pravcima d i g. Odnosno, proces promene veličine se može izvršiti na slici, a zatim se proces promene veličine može izvršiti na jedinicama particionisanja na slici. Redosled promene veličine možda neće biti ispravljen. To znači da je moguće više procesa promene veličine.
[0352] Ukratko, proces promene veličine slike može se klasifikovati na promenu veličine slike (ili na promenu veličine slike pre particionisanja) i na promenu veličine jedinica za particionisanje na slici (ili na promenu veličine slike nakon particionisanja). Može ili ne mora se izvršiti ni jedno ni drugo ili obe od promene veličine slike i promene veličine jedinica za particionisanje na slici, što se može odrediti prema podešavanjima kodiranja/dekodiranja (npr. karakteristike, tip slike i slično) .
[0353] Kada se u primeru, izvrši više procesa promene veličine, promena veličine slike može da se izvrši u najmanje jednom smeru „gore”, „dole”, „levo” i „desno” slike, a barem jedna od jedinica za particionisanje na slici može biti promenjena. U ovom slučaju, promena veličine se može izvršiti u najmanje jednom smeru „gore”, smeru „dole”, smeru „levo” i smeru „desno” jedinice za particionisanje kojoj treba promeniti veličinu.
[0354] Uz upućivanje na Sl. 14, veličina slike pre promene veličine (A) može se definisati kao P_Width x P_Height, veličina slike nakon primarne promene veličine (ili slike pre sekundarne promene veličine; B) može se definisati kao P’_Width x P’_Height, a veličina slike nakon sekundarne promene veličine (ili slike nakon konačne promene veličine; C) može se definisati kao P”_Width x P”_Height. Slika pre promene veličine (A) označava sliku na kojoj se nije menjala veličina, slika posle primarne promene veličine (B) označava sliku na kojoj se izvršila promena veličine, a slika posle sekundarne promene veličine (C) označava sliku na kojoj su izvršene sve promene veličine. Na primer, slika nakon primarne promene veličine (B) može označavati sliku u kojoj se promena veličine vrši u jedinicama za particionisanje slike kao što je prikazano u delovima 13A do 13C, a slika posle sekundarne promene veličine (C) može označavati sliku dobijenu u potpunosti promenom veličine slike nakon primarne promene veličine (B) kao što je prikazano u delu 7A na Sl. 7. Moguć je i suprotan slučaj. Međutim, predmetni pronalazak nije ograničen na gornji primer i mogu se izvršiti različite modifikacije.
[0355] U veličini slike nakon primarne promene veličine (B), P'_Width se može dobiti preko P_Width i najmanje jedne vrednosti horizontalne promene veličine koja je bočno promenjena, a P'_Height se može dobiti preko P_Height i najmanje jedne vrednosti vertikalne promene veličine koja je uzdužno promenjena veličina. U ovom slučaju, vrednost promene veličine može biti vrednost promene veličine generisana u jedinicama za particionisanje.
[0356] U veličini slike nakon sekundarne promene veličine (C), P”_Width se može dobiti preko P'_Width i najmanje jedne vrednosti horizontalne promene veličine koja je bočno promenjena, a P”_Height se može dobiti preko P'_Height i najmanje jedne vrednosti vertikalne promene veličine koja je uzdužno promenjena. U ovom slučaju, vrednost promene veličine može biti vrednost promene veličine generisana na slici.
[0357] Ukratko, veličina slike nakon promene veličine može se dobiti kroz najmanje jednu vrednost promene veličine i veličinu slike pre promene veličine.
[0358] U oblasti slike sa promenjenom veličinom, mogu se generisati informacije u vezi sa postupkom obrade podataka. Kroz sledeći primer biće opisane različiti postupci obrade podataka. Postupci obrade podataka generisanih tokom procesa inverzne promene veličine mogu se primeniti identično ili slično onim u procesu promene veličine. Postupci obrade podataka u procesu promene veličine i inverznom procesu promene veličine biće opisani kroz različite kombinacije koje će biti opisane u nastavku.
[0359] Kao primer, može se generisati postupak obrade podataka primenjen na sliku. Preciznije, jedan postupak obrade podataka ili skup postupaka obrade podataka može se koristiti kao postupak obrade podataka za sve jedinice za particionisanje na slici (ovde se pretpostavlja da se veličina svih jedinica za particionisanje treba promeniti). Na primer, jedan postupak obrade podataka primenjen je zajednički na smer „gore”, smer „dole”, smer „levo” i smer „desno” jedinice za particionisanje na slici (ili postupak obrade podataka ili slično primenjeno na sve pravce promene veličine koji su podržani ili dozvoljeni u jedinicama za particionisanje; u ovom primeru, jedna informacija) ili se može generisati skup postupaka obrade podataka primenjenih na smer „gore”, smer „dole”, smer „levo“ i smer „desno“ (ili broj postupaka obrade podataka jednak broju smera promene veličine podržanih ili dozvoljenih u jedinicama za particionisanje; u ovom primeru, do četiri informacije).
[0360] Kao primer, može se generisati postupak obrade podataka primenjen na jedinice za particionisanje na slici. Preciznije, najmanje jedan postupak obrade podataka ili skup postupaka obrade podataka može se koristiti kao postupak obrade podataka za neke jedinice za particionisanje na slici (ovde se pretpostavlja da se veličina jedinica za particionisanje treba promeniti). Odnosno, jedan postupak obrade podataka ili skup postupaka obrade podataka može se koristiti kao postupak obrade podataka za jednu jedinicu za particionisanje ili postupak obrade podataka za više jedinica za particionisanje. Na primer, može se generisati jedan zajednički postupak obrade podataka za smer „gore”, „dole”, „levo” i „desno” za jednu jedinicu za particionisanje ili se može generisati skup postupaka obrade podataka koje se pojedinačno primenjuju na smer „gore”, „dole”, „levo” i „desno”. Alternativno, može se generisati jedan zajednički postupak obrade podataka za smer „gore”, „dole”, „levo” i „desno” za veći broj jedinica za particionisanje na slici, ili se može generisati skup postupaka obrade podataka pojedinačno primenjenih na smer „gore”, smer „dole”, smer „levo” i smer „desno”. Konfiguracija skupa postupka obrade podataka označava postupak obrade podataka za najmanje jedan smer promene veličine.
[0361] Ukratko, može se koristiti postupak obrade podataka koji se primenjuje kao zajednički za jedinice za particionisanje na slici. Alternativno, može se koristiti postupak obrade podataka primenjen pojedinačno za jedinice za particionisanje na slici. Postupak obrade podataka može koristiti unapred određeni postupak. Unapred određeni postupak obrade podataka može biti obezbeđen kao najmanje jedan postupak. Ovo odgovara implicitnom procesu, a informacije o izboru za postupak obrade podataka mogu biti eksplicitno generisane, koje se mogu odrediti prema podešavanjima kodiranja/dekodiranja (npr. karakteristike, tip slike i slično).
[0362] Odnosno, može se koristiti postupak obrade podataka koji se primenjuje zajednički za jedinice za particionisanje na slici. Može se koristiti unapred određeni postupak ili se može izabrati jedan od većeg broja postupaka obrade podataka. Alternativno, može se koristiti postupak obrade podataka primenjen pojedinačno na jedinice za particionisanje na slici. U zavisnosti od jedinica za particionisanje, može se koristiti unapred određeni postupak ili se može izabrati jedan od većeg broja postupaka obrade podataka.
[0363] U sledećem primeru će biti opisani neki slučajevi u kojima je veličina jedinica za particionisanje na slici promenjena (ovde se pretpostavlja da je promena veličine za proširenje) (ovde je region promene veličine ispunjen nekim podacima slike).
[0364] Specifičnim regionima TL do BR nekih jedinica (npr. S0 do S5 u delovima 12A do 12F) može se promeniti veličina korišćenjem podataka specifičnih regiona od tl do br nekih jedinica P0 do P5 (u delovima 12A do 12F). U ovom slučaju, neke jedinice mogu biti iste (npr. S0 i P0) ili različite (npr. S0 i P1) jedna od druge. Odnosno, regioni TL do BR kojima se menja veličina mogu biti popunjeni nekim podacima tl do br odgovarajuće jedinice za particionisanje i mogu biti popunjeni nekim podacima jedinice za particionisanje koja nije odgovarajuća jedinica za particionisanje.
[0365] Kao primer, regionima TL do BR čija je veličina trenutnoj jedinici za particionisanje promenjena može se promeniti veličina pomoću podataka tl do br trenutne jedinice za particionisanje. Na primer, TL od S0 može biti popunjen podacima tl od P0, RC od S1 može biti popunjen podacima tr rc br od P1, BL+BC od S2 mogu biti popunjeni podacima bl be br od P2, i TL LC BL od S3 mogu biti popunjeni podacima tl Ic bl od P3.
[0366] Kao primer, regionima TL do BR kojima je veličina trenutnoj jedinici za particionisanje promenjena, veličina može biti promenjena korišćenjem podataka tl do br jedinice za particionisanje koja je prostorno susedna trenutnoj jedinici za particionisanje. Na primer, TL TC TR od S4 mogu biti popunjeni podacima bl be br od P1 u smeru „gore”, BL BC od S2 mogu biti popunjeni podacima tl tc tr od P5 u smeru „dole”, LC BL od S2 mogu biti popunjeni podacima tl rc bl od P1 u smeru „levo”, RC od S3 može biti popunjen podacima tl Ic bl od P4 u smeru „desno”, i BR od S0 može biti popunjen podacima tl od P4 u smeru „dole levo”.
[0367] Kao primer, regionima TL do BR kojima je veličina trenutnoj jedinici za particionisanje promenjena, ona može biti promenjena korišćenjem podataka tl do br jedinice za particionisanje koja nije prostorno susedna trenutnoj jedinici za particionisanje. Na primer, podaci u (npr.
horizontalnom, vertikalnom, itd.) graničnom regionu između oba kraja slike mogu se prikupiti. LC od S3 se može dobiti korišćenjem podataka tr rc br od S5, RC od S2 se može dobiti korišćenjem podataka tl Ic od S0, BC od S4 može se dobiti pomoću podataka tc tr od S1, a TC od S1 se može dobiti korišćenjem podataka S4.
[0368] Alternativno, podaci o specifičnim regionima (region koji nije prostorno susedan, ali je utvrđeno da ima visoku korelaciju sa regionom promenjene veličine) mogu da se prikupe na slici. BC od S1 se može dobiti korišćenjem podataka tl lc bl od S3, RC od S3 se može dobiti korišćenjem podataka tl tc od S1, a RC od S5 može se dobiti korišćenjem podataka be od S0.
[0369] Takođe, neki slučajevi u kojima se menja veličina jedinice za particionisanje na slici (ovde se pretpostavlja da je promena veličine za smanjenje) su sledeći (ovde se uklanjanje vrši kroz rekonstrukciju ili korekciju pomoću nekih podataka slike).
[0370] Specifični regioni TL do BR nekih jedinica (npr. S0 do S5 u delovima 12A do 12F) mogu se koristiti u procesu rekonstrukcije ili korekcije za specifične regione od tl do br nekih jedinica P0 do P5. U ovom slučaju, neke jedinice mogu biti iste (npr. S0 i P0) ili različite (npr. S0 i P2) jedna od druge. Odnosno, region kome treba promeniti veličinu može da se koristi za rekonstrukciju nekih podataka odgovarajuće jedinice za particionisanje i zatim uklonjen, a region kome treba promeniti veličinu može da se koristi za rekonstrukciju nekih podataka jedinice za particionisanje osim odgovarajuće jedinice za particionisanje, a zatim uklonjen. Detaljan primer može biti obrnuto izveden iz procesa proširenja i stoga će biti izostavljen.
[0371] Primer se može primeniti na slučaj u kome su podaci sa visokom korelacijom prisutni u regionu koji treba da se promeni, a informacije u vezi sa lokacijama koje se pozivaju za promenu veličine mogu biti eksplicitno generisane ili implicitno dobijene u skladu sa unapred određenim pravilom. Alternativno, povezane informacije se mogu proveriti u kombinaciji. Ovo može biti primer koji se može primeniti kada se podaci dobijaju iz drugog regiona sa kontinuitetom u kodiranju slike od 360 stepeni.
[0372] Sledeće, biće opisan primer u kome se jedinicama za particionisanje na slici menja veličina u uređaju za kodiranje/dekodiranje prema jednoj realizaciji predmetnog pronalaska.
[0373] Proces podele na particije se može izvršiti na ulaznoj slici pre nego što se započne kodiranje. Proces promene veličine se može izvršiti na jedinici za particionisanje koristeći informacije o promeni veličine, a slika se može kodirati nakon što se promeni veličina jedinice za particionisanje. Podaci za kodiranje slike mogu biti sačuvani u memoriji nakon što je kodiranje završeno, i mogu se dodati u tok bitova i zatim emitovati.
[0374] Proces podele na particije se može izvršiti korišćenjem informacija o particionisanju pre nego što dekodiranje započne. Proces promene veličine se može izvršiti na jedinicama za particionisanje korišćenjem informacija o promeni veličine, a podaci za dekodiranje slike mogu se raščlaniti da bi se dekodirali u jedinicama za particionisanje promenjene veličine. Podaci za dekodiranje slike mogu biti uskladišteni u memoriji nakon što je dekodiranje završeno, a veći broj jedinica za particionisanje se spaja u jednu jedinicu nakon što se izvrši inverzni proces promene veličine za jedinice za particionisanje, i na taj način slika može biti poslata na izlaz.
[0375] Može se primeniti još jedan primer gore opisanog procesa promene veličine slike. Predmetni pronalazak nije ograničen na to, i mogu se izvršiti modifikacije.
[0376] U procesu podešavanja slike može se dozvoliti kombinovanje promene veličine slike i rekonstrukcije slike. Rekonstrukcija slike se može izvršiti nakon što se izvrši promena veličine slike. Alternativno, promena veličine slike se može izvršiti nakon što se izvrši rekonstrukcija slike. Takođe, može biti dozvoljeno da se kombinuju particionisanje slike, rekonstrukcija slike i promena veličine slike. Promena veličine slike i rekonstrukcija slike mogu se izvršiti nakon što se izvrši particionisanje slike. Redosled podešavanja slike nije fiksiran i može se menjati, što se može odrediti prema podešavanjima kodiranja/dekodiranja. U ovom primeru, proces podešavanja slike će biti opisan kao rekonstrukcija slike i promena veličine slike koja se vrši nakon što se izvrši particionisanje slike. Međutim, u zavisnosti od podešavanja kodiranja/dekodiranja, moguć je i drugi redosled, a takođe se mogu izvršiti modifikacije.
[0377] Na primer, proces podešavanja slike se može izvršiti sledećim redosledom: particionisanje -> rekonstrukcija; rekonstrukcija -> particionisanje; particionisanje -> promena veličine; promena veličine -> particionisanje; promena veličine -> rekonstrukcija; rekonstrukcija -> promena veličine; particionisanje -> rekonstrukcija -> promena veličine; particionisanje -> promena veličine -> rekonstrukcija; promena veličine -> particionisanje -> rekonstrukcija; promena veličine -> rekonstrukcija -> particionisanje; rekonstrukcija -> particionisanje -> promena veličine; i rekonstrukcija -> promena veličine -> particionisanje, a može biti moguća i kombinacija sa dodatnim podešavanjima slike. Kao što je gore opisano, proces podešavanja slike može se izvoditi uzastopno, ali neki ili ceo proces podešavanja se može izvoditi istovremeno. Takođe, kao neki od procesa podešavanja slike, može se izvršiti veći broj procesa u skladu sa postavkama kodiranja/dekodiranja (npr. karakteristike, tip slike i slično). Sledeći primer ukazuje na različite kombinacije procesa podešavanja slike.
[0378] Kao primer, P0 do P5 u delu 11A može odgovarati S0 do S5 u delu 11B, a proces rekonstrukcije (ovde, preraspodela piksela) i proces promene veličine (ovde, promena veličine jedinica za particionisanje da imaju istu veličinu) mogu biti izvedeni u jedinicama za particionisanje. Na primer, P0 do P5 se može promeniti na osnovu pomeraja (offset) i može se dodeliti S0 do S5. Takođe, P0 se ne može rekonstruisati i tada može biti dodeljen S0. P1 se može rotirati za 90 stepeni i tada se može dodeliti S1. P2 se može rotirati za 180 stepeni i tada se može dodeliti S2. P3 se može rotirati za 270 stepeni i tada se može dodeliti S3. P4 se može horizontalno okrenuti, a tada se može dodeliti S4. P5 se može vertikalno okrenuti, a tada se može dodeliti S5.
[0379] Kao primer, P0 do P5 u delu 11A može odgovarati pozicijama koje su iste ili različite od S0 do S5 u delu 11B, i proces rekonstrukcije (ovde, preraspodela piksela i jedinica za particionisanje) i proces promene veličine (ovde, promena veličine jedinica za particionisanje da imaju istu veličinu) mogu se izvršiti u jedinicama za particionisanje. Na primer, P0 do P5 se može promeniti veličina na osnovu sklairanja i može se dodeliti S0 do S5. Takođe, P0 se ne mora rekonstruisati i tada može biti dodeljen S0. P1 se ne mora rekonstruisati i tada može biti dodeljen S2. P2 se može rotirati za 90 stepeni i tada se može dodeliti S1. P3 se može horizontalno okrenuti, a tada se može dodeliti S4. P4 se može rotirati za 90 stepeni i horizontalno okrenuti, a tada se može dodeliti S5. P5 može biti horizontalno okrenut, a zatim rotiran za 180 stepeni, i tada se može dodeliti S3.
[0380] Kao primer, P0 do P5 u delu 11A može odgovarati E0 do E5 u delu 5E, i proces rekonstrukcije (ovde, preraspodela piksela i jedinica za particionisanje) i proces promene veličine (ovde, promena veličine jedinica za particionisanje da imaju različite veličine) mogu se izvoditi u jedinicama za particionisanje. Na primer, veličina P0 se ne mora promeniti i rekonstruisati, a zatim se može dodeliti E0, P1 se može promeniti na osnovu skaliranja, ali se ne rekonstruiše, a zatim se može dodeliti E1, P2 se ne mora promeniti, ali se rekonstruiše, a zatim se može dodeliti E2, P3 se može promeniti na osnovu pomeraja, ali se ne rekonstruiše, a zatim se može dodeliti E4, P4 se ne mora promeniti, ali se rekonstruiše i može se dodeliti E5, a P5 se može promeniti na osnovu pomeraja i rekonstruisati, a zatim se može dodeliti E3.
[0381] Kao u gornjem primeru, apsolutna pozicija ili relativna pozicija jedinica za particionisanje pre i posle procesa podešavanja slike na slici može da se održava ili menja, što se može odrediti u skladu sa postavkama kodiranja/dekodiranja (npr. karakteristike, tip slike i slično). Takođe, moguće su različite kombinacije procesa podešavanja slike. Predmetni pronalazak nije ograničen na to, i stoga se mogu izvršiti različite modifikacije.
[0382] Koder može dodati informacije generisane tokom gornjeg procesa u tok bitova u jedinicama najmanje jedne od sekvenci, slika, isečaka, pločica i slično, a dekoder može raščlaniti povezane informacije iz toka bitova. Takođe, informacije mogu biti uključene u tok bitova u obliku SEI ili metapodataka.
Tabela 4
[0383] Tabela 4 predstavlja primere elemenata sintakse povezane sa većim brojem podešavanja slike. Sledeći opis će se fokusirati na dodatni element sintakse. Takođe, u sledećem primeru, element sintakse nije ograničen ni na jednu specifičnu jedinicu i može biti podržan u različitim jedinicama kao što su sekvenca, slika, isečak i pločica. Alternativno, element sintakse može biti uključen u SEI, metapodatke i slično.
[0384] Uz upućivanje na Tabelu 4, parts_enabled_flag označava element sintakse koji pokazuje da li treba podeliti na particije neke jedinice. Kada je element sintakse aktiviran (parts_enabled_flag = 1), slika može biti particionisana na više jedinica, a veći broj jedinica može biti kodiran ili dekodiran. Takođe, mogu se proveriti dodatne informacije o particionisanju. Kada je element sintakse deaktiviran (parts_enabled_flag = 0), originalna slika se kodira ili dekodira. U ovom primeru, opis će se fokusirati na pravougaonu jedinicu za particionisanje kao što je pločica, a mogu se obezbediti i različita podešavanja za postojeće pločice i informacije o particionisanju.
[0385] Ovde se num_partitions odnosi na element sintakse koji ukazuje na broj jedinica za particionisanje, a num_partitions plus 1 je jednako broju jedinica za particionisanje.
[0386] Takođe, part_top[i] i part_left[i] se odnose na elemente sintakse koji ukazuju na informacije o lokaciji jedinica za particionisanje i označavaju horizontalne početne pozicije i vertikalne početne pozicije jedinica za particionisanje (npr. gornje leve pozicije jedinica za particionisanje). Takođe, part_width[i] i part_height[i] se odnose na elemente sintakse koji ukazuju na informacije o veličini jedinica za particionisanje i označavaju širinu i visinu jedinica za particionisanje. U ovom slučaju, početne pozicije i informacije o veličini mogu biti postavljene u jedinicama piksela ili u blok jedinicama. Takođe, element sintakse može biti element sintakse koji se može generisati tokom procesa rekonstrukcije slike ili element sintakse koji može biti generisan kada se proces podele na particije slike i proces rekonstrukcije slike konstruišu u kombinaciji.
[0387] Takođe, part_header_enabled_flag označava element sintakse koji pokazuje da li treba podržati postavke kodiranja/dekodiranja za jedinicu za particionisanje. Kada je element sintakse aktiviran (part_header_enabled_flag = 1), mogu se obezbediti podešavanja kodiranja/dekodiranja za jedinicu za particionisanje. Kada je element sintakse deaktiviran (part_header_enabled_flag = 0), podešavanja kodiranja/dekodiranja se ne mogu obezbediti, a podešavanja kodiranja/dekodiranja za gornju jedinicu mogu biti dodeljena.
[0388] Gornji primer nije ograničen na primer elemenata sintakse povezanih sa promenom veličine i rekonstrukcijom u jedinici za particionisanje između podešavanja slike, a modifikacije se mogu izvršiti kao druge jedinice za particionisanje i podešavanja predmetnog pronalaska. Ovaj primer je opisan pod pretpostavkom da se promena veličine i rekonstrukcija obavljaju nakon što se izvrši particionisanje, ali predmetni pronalazak nije ograničen na to, i modifikacije se mogu izvršiti u drugom redosledu podešavanja slike ili slično. Takođe, tip, red, uslov i slično podržanog elementa sintakse u sledećem primeru su ograničeni samo na primer i stoga se mogu promeniti i odrediti u skladu sa postavkama kodiranja/dekodiranja.
Tabela 5
[0389] Tabela 5 predstavlja primere elemenata sintakse povezanih sa rekonstrukcijom u jedinici za particionisanje između postavki slike.
[0390] Uz upućivanje na Tabelu 5, part_convert_flag[i] označava element sintakse koji ukazuje da li treba rekonstruisati jedinicu za particionisanje. Element sintakse može biti generisan za svaku jedinicu za particionisanje. Kada je element sintakse aktiviran (part_convert_flag[i] = 1), rekonstruisana jedinica za particionisanje može biti kodirana ili dekodirana i mogu se proveriti dodatne informacije u vezi sa rekonstrukcijom. Kada je sintaktički element deaktiviran (part_convert_flag[i] = 0), originalna jedinica za particionisanje se kodira ili dekodira. Ovde, convert_tipe_flag[i] se odnosi na informacije o režimu u vezi sa rekonstrukcijom jedinice za particionisanje i može biti informacija u vezi sa preraspodelom piksela.
[0391] Takođe, može se generisati element sintakse koji ukazuje na dodatnu rekonstrukciju kao što je preraspodela jedinice za particionisanje. U ovom primeru, preraspodela jedinice za particionisanje može da se izvede preko part_top i part_left, koji su sintaksni element koji ukazuje na gornje particionisanje slike, ili se može generisati element sintakse (npr. informacija o indeksu) povezan sa preraspodelom jedinice za particionisanje.
Tabela 6
[0392] Tabela 6 predstavlja primere elemenata sintakse povezane sa promenom veličine u jedinici za particionisanje između postavki slike.
[0393] Uz upućivanje na Tabelu 6, part_resizing_flag[i] označava element sintakse koji pokazuje da li treba promeniti veličinu jedinice za particionisanje na slici. Element sintakse može biti generisan za svaku jedinicu za particionisanje. Kada je element sintakse aktiviran (part_resizing_flag[i] = 1), jedinica za particionisanje promenjene veličine može biti kodirana ili dekodirana nakon promene veličine i mogu se proveriti dodatne informacije u vezi sa promenom veličine. Kada je element sintakse deaktiviran (part_resiznig_flag[i] = 0), originalna jedinica za particionisanje se kodira ili dekodira.
[0394] Takođe, width_scale[i] i height_scale[i] označavaju faktore razmere povezane sa horizontalnom promenom veličine i vertikalnom promenom veličine kod promene veličine na osnovu faktora razmere u jedinici za particionisanje.
[0395] Takođe, top_height_offset[i] i bottom_height_offset[i] označavaju faktor pomeraja za smer „gore” i faktor pomeraja za smer „dole”, koji su povezani sa promenom veličine na osnovu faktora pomeraja u jedinici za particionisanje, i left_width_offset[i] i right_width_offset[i] označavaju faktor pomeraja za smer „levo” i faktor pomeraja za smer „desno”, koji su povezani sa promenom veličine na osnovu faktora pomeraja u jedinici za particionisanje.
[0396] Takođe, resizing_tipe_flag[i][j] označava element sintakse koji ukazuje na postupak obrade podataka za region promenjene veličine u jedinici za particionisanje. Element sintakse označava pojedinačni postupak obrade podataka za smer promene veličine. Na primer, može se generisati element sintakse koji ukazuje na pojedinačni postupak obrade podataka za region promenjene veličine u smeru „gore”, „dole”, „levo” i „desno”. Element sintakse može da se generiše na osnovu informacija o promeni veličine (npr. koje se mogu generisati samo kada se promena veličine izvrši u nekim smerovima).
[0397] Gore opisani proces podešavanja slike može biti proces koji se primenjuje prema karakteristikama, tipu slike i slično. U sledećem primeru, gore opisani proces podešavanja slike može se primeniti bez ili sa bilo kojom promenom, čak i bez posebnog pomena. U sledećem primeru, opis će se fokusirati na slučaj dodavanja ili promene u gornjem primeru.
[0398] Na primer, slika od 360 stepeni ili slika u više pravaca generisana kamerom od 360 stepeni ima različite karakteristike od onih kod slike dobijene preko opšte kamere i ima drugačije okruženje kodiranja od kompresije normalne slike.
[0399] Za razliku od normalne slike, slika od 360 stepeni možda nema granični deo sa diskontinuitetom, a podaci svih regiona slike od 360 stepeni mogu imati kontinuitet. Takođe, uređaj kao što je HMD može zahtevati sliku visoke definicije jer sliku treba da se reprodukuje pred očima kroz sočivo. Kada se slika dobije putem stereoskopske kamere, količina obrađenih podataka o slici može se povećati. Različiti procesi podešavanja slike uzimajući u obzir sliku od 360 stepeni mogu da se izvrše da bi se obezbedila efikasna okruženja za kodiranje, uključujući gornji primer.
[0400] Kamera od 360 stepeni može biti više kamera ili kamera koja ima više sočiva i senzora. Kamera ili sočivo mogu da pokriju sve pravce oko bilo koje centralne tačke koju je uhvatila kamera.
[0401] Slika od 360 stepeni može se kodirati različitim postupcima. Na primer, slika od 360 stepeni može biti kodirana korišćenjem različitih algoritama za obradu slike u 3D prostoru, i može se konvertovati u 2D prostor i kodirati korišćenjem različitih algoritama za obradu slike. Prema predmetnom pronalasku, sledeći opis će se fokusirati na postupak konvertovanje slike od 360 stepeni u 2D prostor i kodiranja ili dekodiranja konvertovane slike.
[0402] Uređaj za kodiranje slike od 360 stepeni prema jednoj realizaciji predmetnog pronalaska može da uključuje neke ili sve elemente prikazane na Sl.1, i može dalje da uključuje jedinicu za prethodnu obradu konfigurisanu za prethodnu obradu ulazne slike (bešavno spajanje slika, projekcija, pakovanje po regionima). U međuvremenu, uređaj za dekodiranje slike od 360 stepeni prema jednoj realizaciji predmetnog pronalaska može da uključuje neke ili sve elemente prikazane na Sl.2, i može dalje da uključuje jedinicu za naknadnu obradu konfigurisanu za naknadnu obradu kodirane slike pre dekodiranja kodirane slike da bi se reprodukovala izlazna slika.
[0403] Drugim rečima, koder može prethodno obraditi ulaznu sliku, kodirati prethodno obrađenu sliku i preneti tok bitova uključujući sliku, a dekoder može raščlaniti, dekodirati i naknadno obraditi preneti tok bitova da generiše izlaznu sliku. U ovom slučaju, preneti tok bitova može da uključuje informacije generisane tokom procesa prethodne obrade i informacije generisane tokom procesa kodiranja, a tok bitova se može raščlaniti i koristiti tokom procesa dekodiranja i procesa naknadne obrade.
[0404] Nakon toga, operativni postupak za koder slike od 360 stepeni će biti opisan preciznije, a postupak rada za dekoder slike od 360 stepeni može lako da se izvede od strane stručnjaka u tehnici, jer postupak rada za sliku od 360 stepeni za dekoder je suprotan postupku rada za koder slike od 360 stepeni, pa će stoga njegov detaljan opis biti izostavljen.
[0405] Ulazna slika može biti predmet izvođenja procesa spajanja i projekcije na 3D projekcionoj strukturi zasnovanoj na sferi, a podaci o slici na 3D projekcionoj strukturi mogu biti projektovani u 2D sliku kroz proces.
[0406] Projektovana slika može biti konfigurisana da uključuje deo ili ceo sadržaj od 360 stepeni u skladu sa postavkama kodiranja. U ovom slučaju, informacije o lokaciji regiona (ili piksela) koje treba postaviti u centar projektovane slike mogu biti implicitno generisane kao unapred određena vrednost ili mogu biti eksplicitno generisane. Takođe, kada projektovana slika uključuje specifične regione sadržaja od 360 stepeni, mogu se generisati informacije o opsegu i lokaciji uključenih regiona. Takođe, informacije o opsegu (npr. širina i visina) i informacije o lokaciji (npr. koje se mere na osnovu gornjeg levog kraja slike) regiona od interesa (ROI) mogu se generisati iz projektovane slike. U ovom slučaju, određeni region sa velikim značajem u sadržaju od 360 stepeni može se postaviti kao ROI. Slika od 360 stepeni može da dozvoli da se sav sadržaj gleda u smeru „gore”, „dole”, „levo” i „desno”, ali pogled korisnika može biti ograničen na deo slika, koja se može podesiti kao ROI s obzirom na ograničenje. U svrhu efikasnog kodiranja, ROI se može podesiti da ima dobar kvalitet i visoku rezoluciju, a drugi regioni se mogu podesiti da imaju niži kvalitet i nižu rezoluciju od ROI.
[0407] Među većim brojem shema za prenos slike od 360 stepeni, shema prenosa jednog toka može dozvoliti da se puna slika ili slika prozora za prikaz prenesu u pojedinačnom jedinstvenom toku bitova za korisnika. Shema prenosa sa više tokova može dozvoliti da se nekoliko celih slika sa različitim kvalitetima slike prenese u više tokova bitova, i na taj način kvalitet slike može biti izabran u skladu sa korisničkim okruženjem i uslovima komunikacije. Shema prenosa popločanog toka može dozvoliti da se delimična slika zasnovana na jedinici pločica koja je pojedinačno kodirana, prenosi u više tokova bitova, i stoga pločica može biti izabrana u skladu sa korisničkim okruženjem i uslovima komunikacije. Shodno tome, koder slike od 360 stepeni može da generiše i prenosi tok bitova koji ima dva ili više kvaliteta, a dekoder slike od 360 stepeni može da postavi ROI prema korisničkom pogledu i može selektivno dekodirati tok bitova prema ROI. Odnosno, mesto na koje se usmerava pogled korisnika može se podesiti kao ROI kroz sistem za praćenje glave ili oka, a može se prikazati samo neophodan deo.
[0408] Projektovana slika se može konvertovati u upakovanu sliku dobijenu izvođenjem procesa pakovanja po regionima. Proces pakovanja po regionima može uključiti korak particionisanja projektovane slike na više regiona, a podeljeni regioni mogu biti raspoređeni (ili preuređeni) na slici upakovanoj u skladu sa postavkama pakovanja po regionima. Pakovanje po regionima može da se izvrši da bi se povećao prostorni kontinuitet kada se slika od 360 stepeni konvertuje u 2D sliku (ili projektovanu sliku). Dakle, moguće je smanjiti veličinu slike kroz pakovanje po regionima. Takođe, pakovanje po regionima može da se izvrši da bi se smanjilo pogoršanje kvaliteta slike izazvano tokom renderovanja, omogućila projekcija zasnovana na oblasti prikaza i obezbedile druge vrste formata projekcije. Pakovanje po regionu može ili ne mora da se izvrši u zavisnosti od podešavanja kodiranja, koje se može odrediti na osnovu signala koji ukazuje da li treba izvršiti pakovanje po regionima (npr. regionwise_packing_flag; samo kada je regionwise_packing_flag aktiviran, informacije pakovanju po regionima mogu da se generišu).
[0409] Kada se izvrši pakovanje po regionima, informacije o podešavanju (ili informacije o mapiranju) u kojima su specifični regioni projektovane slike dodeljeni (ili raspoređeni) određenim regionima upakovane slike mogu biti prikazani (ili generisani). Kada se pakovanje po regionu ne izvrši, projektovana slika i upakovana slika mogu biti ista slika.
[0410] U gornjem opisu, proces bešavnog spajanja slika, proces projekcije i proces pakovanja po regionima definisani su kao pojedinačni procesi, ali neki (npr. bešavno spajanje projekcija, projekcija pakovanje po regionima) ili svi (npr. bešavno spajanje projekcija pakovanje po regionima) procesi se mogu definisati kao jedan proces.
[0411] Najmanje jedna upakovana slika može biti generisana iz iste ulazne slike u skladu sa podešavanjima za proces bešavnog spajanja, proces projekcije i proces pakovanja po regionima. Takođe, u skladu sa podešavanjima za proces pakovanja po regionima, može se generisati najmanje jedan deo podataka kodiranja za istu projektovanu sliku.
[0412] Upakovana slika se može podeliti izvođenjem procesa postavljanja pločica (tiling). U ovom slučaju, postavljanje pločica, što je proces u kojem se slika deli na više regiona i zatim prenosi, može biti primer sheme prenosa slike od 360 stepeni. Kao što je gore opisano, postavljanje pločica može biti izvedeno u svrhu delimičnog dekodiranja uzimajući u obzir korisnička okruženja, a takođe se može izvesti u svrhu efikasne obrade ogromnih podataka slika od 360 stepeni. Na primer, kada se slika sastoji od jedne jedinice, cela slika se može dekodirati da bi se dekodirao ROI. S druge strane, kada je slika sastavljena od više jediničnih regiona, može biti efikasno dekodirati samo ROI. U ovom slučaju, particionisanje se može izvršiti u jedinicama pločica, koje su jedinice za particionisanje u skladu sa konvencionalnom shemom kodiranja, ili se može izvršiti u različitim jedinicama za particionisanje (npr. četvorougaonom bloku za particionisanje, itd.) koje su opisane prema predmetnom pronalasku. Takođe, jedinica za particionisanje može biti jedinica za izvođenje nezavisnog kodiranja/dekodiranja. Postavljanje pločica se može izvesti samostalno ili na osnovu projektovane slike ili upakovane slike. Odnosno, particionisanje se može izvršiti na osnovu granice lica projektovane slike, granice lica upakovane slike, podešavanja pakovanja, itd., i može se izvesti nezavisno za svaku jedinicu za particionisanje. Ovo može uticati na generisanje informacija o particionisanju tokom procesa postavljanja pločica.
[0413] Zatim, projektovana slika ili upakovana slika može biti kodirana. Podaci za kodiranje i informacije generisani tokom procesa prethodne obrade mogu se dodati u tok bitova, a tok bitova se može preneti u dekoder slike od 360 stepeni. Informacije generisane tokom procesa prethodne obrade mogu se dodati u tok bitova u obliku SEI ili metapodataka. U ovom slučaju, tok bitova može da sadrži najmanje jedan deo podataka kodiranja koji imaju delimično različita podešavanja za proces kodiranja i najmanje jedan deo informacije za prethodnu obradu koja ima delimično različite postavke za proces prethodne obrade. Ovo je da se napravi dekodirana slika u kombinaciji više delova kodiranih podataka (podaci kodiranja informacije za prethodnu obradu) u skladu sa korisničkim okruženjima. Preciznije, dekodirana slika se može konstruisati selektivnim kombinovanjem više delova kodiranih podataka. Takođe, proces se može izvesti dok je odvojen na dva dela da bi se primenio na binokularni sistem, a proces se može izvesti na dodatnoj dubini slike.
[0414] Sl. 15 je primer dijagrama koji prikazuje 2D planarni prostor i 3D prostor koji prikazuje 3D sliku.
[0415] Generalno, u svrhu 360 stepeni 3D virtuelnog prostora mogu biti potrebna tri stepena slobode (3DoF) i tri rotacije mogu biti podržane u odnosu na X osu (Pitch), Y osu (Yaw) i Z osu (Roll). DoF se odnosi na stepen slobode u prostoru, 3DoF se odnosi na stepen slobode koji uključuje rotacije oko X ose, Y ose i Z ose, kao što je prikazano u delu 15A, a 6DoF se odnosi na stepen slobode koji dodatno omogućava kretanja duž X ose, Y ose i Z ose, kao i 3DoF. Sledeći opis će se fokusirati na uređaj za kodiranje slike i uređaj za dekodiranje slike predmetnog pronalaska koji ima 3DoF. Kada je podržan 3DoF ili veći (3DoF+), uređaj za kodiranje slike i uređaj za dekodiranje slike mogu se modifikovati ili kombinovati sa dodatnim procesom ili uređajem koji nisu prikazani.
[0416] Uz upućivanje na deo 15A, Yaw može imati opseg od -π (-180 stepeni) do π (180 stepeni), Pitch može imati opseg od -π/2 rad (ili -90 stepeni) do π/2 rad (ili 90 stepeni), a Roll može imati opseg od -π/2 rad (ili -90 stepeni) do π/2 rad (ili 90 stepeni). U ovom slučaju, kada se pretpostavi da su Φ i θ geografska dužina i širina u prikazu Zemlje na karti, 3D prostorne koordinate (x, y, z) mogu se transformisati iz 2D prostornih koordinata (Φ, θ). Na primer, 3D prostorne koordinate mogu biti izvedene iz 2D prostornih koordinata prema formulama transformacije x = cos(θ) cos(Φ), y = sin(θ) i z = -cos(θ) sin(Φ).
[0417] Takođe, (Φ, θ) se može transformisati u (x, y, z). Na primer, 2D prostorne koordinate mogu biti izvedene iz 3D prostornih koordinata prema formulama transformacije Φ = tan-1 (-Z/X) i θ = sin-1(Y/(X2+Y2+Z2)1/2).
[0418] Kada se piksel u 3D prostoru tačno transformiše u piksel u 2D prostoru (npr. piksel celobrojne jedinice u 2D prostoru), piksel u 3D prostoru može biti mapiran u piksel u 2D prostoru. Kada piksel u 3D prostoru nije tačno transformisan u piksel u 2D prostoru (npr. piksel decimalne jedinice u 2D prostoru), piksel dobijen interpolacijom može biti mapiran u 2D piksel. U ovom slučaju, kao interpolacija, može se koristiti interpolacija najbližeg suseda, bilinearna interpolacija, B-spline interpolacija, bikubična interpolacija ili slično. U ovom slučaju, povezane informacije mogu biti eksplicitno generisane izborom jednog od većeg broja kandidata za interpolaciju, ili postupak interpolacije može biti implicitno određen prema unapred određenom pravilu. Na primer, unapred određeni interpolacioni filter može da se koristi prema 3D modelu, formatu projekcije, formatu boje i tipu isečka/pločice (slice/tile). Takođe, kada se informacije o interpolaciji eksplicitno generišu, mogu biti uključene informacije koje se odnose na informacije o filteru (npr. koeficijent filtera).
[0419] Deo 15B prikazuje sliku na kojoj je 3D prostor transformisan u 2D prostor (2D planarni koordinatni sistem). (Φ,θ) se može uzorkovati (i,j) na osnovu veličine (širine i visine) slike. Ovde i može imati opseg od 0 do P_Width - 1, a j može imati opseg od 0 do P_Height - 1.
[0420] (Φ,θ) može biti centralna tačka (ili referentna tačka; tačka prikazana kao C na Sl. 15; koordinate (Φ,θ)=(0,0)) za uređenje slike od 360 stepeni u odnosu na projektovanu sliku. Podešavanje za centralnu tačku može biti naznačeno u 3D prostoru, a informacije o lokaciji za centralnu tačku mogu biti eksplicitno generisane ili implicitno određene kao unapred određena vrednost. Na primer, informacije o poziciji centra u Yaw, informacije o poziciji centra u Pitch, informacije o poziciji centra u Roll, i slično mogu da se generišu. Kada vrednost za informaciju nije specificirana posebno, može se pretpostaviti da je svaka vrednost nula.
[0421] Primer u kome se cela slika od 360 stepeni transformiše iz 3D prostora u 2D prostor je opisan gore, ali određeni regioni slike od 360 stepeni mogu biti transformisani, a informacije o lokaciji (npr. neke lokacije koje pripadaju regionu u ovom primeru, informacije o lokaciji u vezi sa centralnom tačkom), informacije o opsegu i slično za specifične regione mogu biti eksplicitno generisane ili mogu implicitno pratiti unapred određene informacije o lokaciji i opsegu. Na primer, informacije o poziciji centra u Yaw, informacije o poziciji centra u Pitch, informacije o centralnoj poziciji u Roll, informacije o dometu u Yaw, informacije o dometu u Pitch, informacije o dometu u Roll i slično mogu se generisati, a specifični regioni mogu biti najmanje jedan region. Tako se mogu obraditi informacije o lokaciji, informacije o opsegu i slično za veći broj regiona. Kada vrednost za informacije nije navedena posebno, može se pretpostaviti cela slika od 360 stepeni.
[0422] H0 do H6 i WO do W5 u delu 15A označavaju neke geografske širine i dužine u delu 15B, koje se mogu izraziti kao koordinate (C, j) i (i, C) (C je komponenta geografske dužine ili širine) u delu 15B. Za razliku od opšte slike, kada se slika od 360 stepeni konvertuje u 2D prostor, može doći do izobličenja ili krivljenja sadržaja na slici. Ovo može zavisiti od regiona slike, a različita podešavanja kodiranja/dekodiranja mogu se primeniti na lokaciju slike ili regione podeljene u skladu sa lokacijom. Kada se podešavanja kodiranja/dekodiranja adaptivno primenjuju na osnovu informacija za kodiranje/dekodiranje u predmetnom pronalasku, informacije o lokaciji (npr. x komponenta, i komponenta ili opseg definisan sa x i y) mogu biti uključene kao primer informacija o kodiranju/dekodiranju.
[0423] Opis 3D prostora i 2D prostora je definisan da pomogne opisu realizacije predmetnog pronalaska. Međutim, predmetni pronalazak nije ograničen na to, i gornji opis može biti modifikovan u pogledu detalja ili se može primeniti na druge slučajeve.
[0424] Kao što je gore opisano, slika dobijena kamerom od 360 stepeni može se transformisati u 2D prostor. U ovom slučaju, slika od 360 stepeni može se mapirati pomoću 3D modela, a mogu se koristiti i različiti 3D modeli kao što su sfera, kocka, cilindar, piramida i poliedar. Kada se slika od 360 stepeni mapirana na osnovu modela transformiše u 2D prostor, proces projekcije se može izvršiti prema formatu projekcije zasnovanom na modelu.
[0425] Sl.16A do 16D su konceptualni dijagrami koji prikazuju format projekcije prema jednoj realizaciji predmetnog pronalaska.
[0426] Sl.16A prikazuje format Equi-Rectangular Projection (ERP) u kome se slika od 360 stepeni projektuje u 2D ravan. Sl.16B prikazuje format CubeMap Projection (CMP) u kome se slika od 360 stepeni projektuje na kocku. Sl.16C prikazuje format OctaHedron Projection (OHP) u kome se slika od 360 stepeni projektuje na oktaedar. Sl. 16D prikazuje format IcoSahedral Projection (ISP) u kojem se slika od 360 stepeni projektuje na poliedar. Međutim, predmetni pronalazak nije ograničen na to i mogu se koristiti različiti formati projekcije. Na sl. 16A do 16D, leve strane prikazuju 3D režime, a desne strane prikazuju primere transformacije u 2D prostor kroz proces projekcije. Mogu se obezbediti različite veličine i oblici prema formatu projekcije. Svaki oblik može biti sastavljen od površina ili lica, a svako lice može biti izraženo kao krug, trougao, četvorougao itd.
[0427] U predmetnom pronalasku, format projekcije može da se definiše pomoću 3D režima, podešavanja lica (npr. broj lica, oblik lica, konfiguracija oblika lica, itd.), podešavanja procesa projekcije, itd. Kada se najmanje jedan element razlikuje u definiciji, format projekcije se može smatrati različitim formatom projekcije. Na primer, ERP se sastoji od modela sfere (3D model), jednog lica (broj lica) i četvorougaonog lica (oblik lica). Međutim, kada se neka (npr. formula koja se koristi tokom transformacije iz 3D prostora u 2D prostor; odnosno, element koji ima ista preostala podešavanja projekcije i pravi razliku u najmanje jednom pikselu projektovane slike u procesu projekcije) podešavanja za proces projekcije različita, format se može klasifikovati kao drugačiji format kao što su ERP1 i ERP2. Kao još jedan primer, CMP se sastoji od modela kocke, šest lica i četvorougaone površine. Kada su neka (npr. postupak uzorkovanja primenjen tokom transformacije iz 3D prostora u 2D prostor) podešavanja tokom procesa projekcije različita, format se može klasifikovati kao drugačiji format kao što su CMP1 i CMP2.
[0428] Kada se koristi više formata projekcije umesto jednog unapred određenog formata projekcije, informacije o identifikaciji formata projekcije (ili informacije o formatu projekcije) mogu biti eksplicitno generisane. Informacije o identifikaciji formata projekcije mogu se konfigurisati na različite načine.
[0429] Kao primer, format projekcije se može identifikovati dodeljivanjem informacija o indeksu (npr. proj_format_flag) većem broju formata projekcije. Na primer, #0 može biti dodeljen ERP-u, #1 može biti dodeljen CMP-u, #2 može biti dodeljen OHP-u, #3 može biti dodeljen ISP-u, #4 može biti dodeljen ERP1, #5 može biti dodeljen CMP1 , #6 može biti dodeljen OHP1, #7 može biti dodeljen ISP1, #8 može biti dodeljen CMP compact, #9 može biti dodeljen OHP compact, #10 može biti dodeljen ISP compact, a #11 ili veći može biti dodeljen drugim formatima.
[0430] Kao primer, format projekcije se može identifikovati korišćenjem najmanje jednog dela informacije o elementu koji čini format projekcije. U ovom slučaju, kao informacija o elementu koji čini format projekcije, informacije o 3D modelu (npr.3d_model_flag; #0 označava sferu, #1 označava kocku, #2 označava cilindar, #3 označava piramidu, #4 označava poliedar 1, a #5 označava poliedar 2), informacije o broju lica (npr. num_face_flag; postupak povećanja za 1, počevši od 1; broj lica generisanih u formatu projekcije se dodeljuje kao informacija o indeksu, odnosno, #0 označava jedno, #1 označava tri, #2 označava šest, #3 označava osam, a #4 označava dvadeset), informacije o obliku lica (npr. shape_face_flag; #0 označava četvorougao, #1 označava krug, #2 označava trougao, # 3 označava četvorougao krug, a #4 označava četvorougao trougao), informacije o podešavanju procesa projekcije (npr. 3d_2d_convert_idx) i slično mogu biti uključene.
[0431] Kao primer, format projekcije se može identifikovati korišćenjem informacija indeksa formata projekcije i informacija o elementima koji čine format projekcije. Na primer, kao informacije o indeksu formata projekcije, #0 može biti dodeljen ERP-u, #1 može biti dodeljen CMP-u, #2 može biti dodeljen OHP-u, #3 može biti dodeljen ISP-u, a #4 ili veći može biti dodeljen za druge formate. Format projekcije (npr. ERP, ERP1, CMP, CMP1, OHP, OHP1, ISP i ISP1) se može identifikovati zajedno sa informacijama o elementima koji čine format projekcije (ovde, informacije o podešavanju procesa projekcije). Alternativno, format projekcije (npr. ERP, CMP, CMP compact, OHP, OHP compact, ISP i ISP compact) se može identifikovati zajedno sa informacijama o elementima koji čine format projekcije (ovde, pakovanje po regionima).
[0432] Ukratko, format projekcije se može identifikovati korišćenjem informacija o indeksu formata projekcije, može se identifikovati korišćenjem najmanje jednog dela informacije o elementu formata projekcije i može se identifikovati korišćenjem informacija o indeksu formata projekcije i najmanje jednog elementa formata projekcije informacije. Ovo se može definisati u skladu sa postavkama kodiranja/dekodiranja. U predmetnom pronalasku, sledeći opis pretpostavlja da je format projekcije identifikovan korišćenjem indeksa formata projekcije. U ovom primeru, opis će se fokusirati na format projekcije koji se izražava korišćenjem lica iste veličine i oblika, ali može biti moguća konfiguracija koja ima različita lica po veličini i obliku. Takođe, konfiguracija svakog lica može biti ista ili različita od onih prikazanih na Sl. 16A do 16D, broj svakog lica se koristi kao simbol za identifikaciju odgovarajućeg lica i ne postoji ograničenje za određeni redosled. Radi pogodnosti opisa, sledeći opis pretpostavlja da je, u odnosu na projektovanu sliku, ERP format projekcije koji uključuje jedno lice četvorougao, CMP je format projekcije koji uključuje šest lica četvorougao, OHP je format projekcije koji uključuje osam lica trougao, ISP je format projekcije koji uključuje dvadeset lica trougao, a lica imaju istu veličinu i oblik. Međutim, opis se može identično ili slično primeniti čak i na različita podešavanja.
[0433] Kao što je prikazano na Sl.16A do 16D, format projekcije može biti klasifikovan kao jedno lice (npr. ERP) ili više lica (npr. CMP, OHP i ISP). Takođe, oblik svakog lica može se klasifikovati kao četvorougao, trougao ili slično. Klasifikacija može biti primer tipa, karakteristika slike i sličnog prema predmetnom pronalasku, koja se može primeniti kada su obezbeđena različita podešavanja kodiranja/dekodiranja u zavisnosti od formata projekcije. Na primer, tip slike može biti slika od 360 stepeni, a karakteristike slike mogu biti jedna od klasifikacija (npr. svaki format projekcije, format projekcije koji ima jedno lice ili više lica, format projekcije koje imaju četvorougaono lice ili lice koje nije četvorougaono).
[0434] 2D planarni koordinatni sistem (npr. (l, j)) može biti definisan u svakom licu 2D projektovane slike, a karakteristike koordinatnog sistema mogu se razlikovati u zavisnosti od formata projekcije, lokacije svakog lica i slično. ERP može imati jedan 2D planarni koordinatni sistem, a drugi projekcioni formati mogu imati više 2D planarnih koordinatnih sistema u zavisnosti od broja lica. U ovom slučaju, koordinatni sistem može biti izražen kao (k,i,j), a k može ukazivati na informacije o indeksu za svako lice.
[0435] Slika 17 je konceptualni dijagram koji pokazuje da je format projekcije uključen u pravougaonu sliku prema jednoj realizaciji predmetnog pronalaska.
[0436] Odnosno, može se razumeti da delovi 17A do 17C pokazuju da formati projekcije sa Sl.
16B do 16D su realizovani kao pravougaona slika.
[0437] Uz upućivanje na delove 17A do 17C, svaki format slike može biti konfigurisan u obliku pravougaonika za kodiranje ili dekodiranje slike od 360 stepeni. Za ERP, jedan koordinatni sistem se može koristiti takav kakav jeste. Međutim, za druge formate projekcije, koordinatni sistemi lica mogu biti integrisani u jedan koordinatni sistem, a njihov detaljan opis će biti izostavljen.
[0438] Uz upućivanje na delove 17A do 17C, dok se pravi pravougaona slika, može se potvrditi da se generiše oblast ispunjena besmislenim podacima kao što su praznina ili pozadina. Odnosno, pravougaona slika može biti sastavljena od regiona koji uključuje stvarne podatke (ovde lice; aktivna oblast) i besmislenog regiona koji je dodat da se napravi pravougaona slika (ovde, pod pretpostavkom da je region popunjen bilo kojom vrednošću piksela; neaktivno područje). Ovo može smanjiti performanse zbog povećanja podataka kodiranja, odnosno povećanja veličine slike uzrokovane besmislenim regionom, kao i kodiranja/dekodiranja stvarnih podataka slike.
[0439] Shodno tome, proces za konstruisanje slike isključivanjem besmislenog regiona i korišćenjem regiona koji uključuje stvarne podatke može biti dodatno izveden.
[0440] Slika 18 je konceptualni dijagram postupka za konverziju formata projekcije u pravougaoni oblik, odnosno, postupaka za izvođenje preraspodele na licu da bi se isključio besmisleni region prema jednoj realizaciji predmetnog pronalaska.
[0441] Uz upućivanje na delove 18A do 18C, može se potvrditi primer za preraspodelu delova 17A do 17C, i ovaj proces se može definisati kao proces pakovanja po regionima (CMP compact, OHP compact, ISP compact, i slično). U ovom slučaju, lice može biti ne samo preraspodeljeno, već i podeljeno, a zatim preraspodeljeno (OHP compact, ISP compact i slično). Ovo se može izvesti da bi se uklonio besmisleni region, kao i da bi se poboljšale performanse kodiranja kroz efikasan raspored lica. Na primer, kada je slika neprekidno raspoređena između lica (npr. B2-B3-B1, B5-B0-B4, itd. u delu 18A), tačnost predikcije nakon kodiranja je poboljšana, a samim tim i performanse kodiranja mogu biti poboljšane. Ovde je pakovanje po regionima prema formatu projekcije samo primer, i predmetni pronalazak nije ograničen na to.
[0442] Slika 19 je konceptualni dijagram koji pokazuje da se regionalni proces pakovanja izvodi da bi se konvertovao CMP projekcioni format u pravougaonu sliku prema jednoj realizaciji predmetnog pronalaska.
[0443] Uz upućivanje na delove 19A do 19C, format CMP projekcije može biti raspoređen kao 6 x 1, 3 x 2, 2 x 3 i 1 x 6. Takođe, kada se nekim licima promeni veličina, raspored se može napraviti kao što je prikazano u delovima 19D i 19E. U delovima 19A do 19E, CMP se primenjuje kao primer. Međutim, predmetni pronalazak nije ograničen na to i mogu se primeniti drugi formati za projekciju. Raspored lica slike dobijene kroz pakovanje po regionima može pratiti unapred određeno pravilo koje odgovara formatu projekcije ili može eksplicitno da generiše informacije u vezi sa rasporedom.
[0444] Uređaji za kodiranje i dekodiranje slike od 360 stepeni prema jednoj realizaciji predmetnog pronalaska mogu biti konfigurisani tako da uključuju neke ili sve elemente uređaja za kodiranje i dekodiranje slike prikazanih na SI.1 i 2. Konkretno, deo za transformaciju formata konfigurisan da transformiše format projekcije i deo za transformaciju inverznog formata konfigurisan da inverzno transformiše format projekcije mogu dalje biti uključeni u uređaj za kodiranje slike i uređaj za dekodiranje slike, redom. Odnosno, ulazna slika se može obraditi kroz deo za transformaciju formata i zatim kodirati pomoću uređaja za kodiranje slike sa Sl.1, a tok bitova se može dekodirati i zatim obraditi kroz deo transformacije inverznog formata pomoću uređaja za dekodiranje slike sa Sl.2 za generisanje izlazne slike. Sledeći opis će se fokusirati na proces koji izvodi koder (ovde, ulazna slika, kodiranje, itd.), a proces koji izvodi dekoder može biti obrnuto izveden u odnosu na koder. Takođe, suvišni opis prethodno navedenog će biti izostavljen.
[0445] Sledeći opis pretpostavlja da je ulazna slika ista kao upakovana slika ili 2D projektovana slika koju dobija uređaj za kodiranje od 360 stepeni koji obavlja proces prethodne obrade. Odnosno, ulazna slika može biti slika dobijena izvođenjem procesa projekcije u skladu sa nekim formatima projekcije ili procesom pakovanja po regionima. Formacija projekcije unapred primenjena na ulaznu sliku može biti jedan od različitih formata projekcije, koji se može smatrati uobičajenim formatom i nazivati prvim formatom.
[0446] Deo za transformaciju formata može izvršiti transformaciju u format projekcije koji nije prvi format. U ovom slučaju, format projekcije u koji treba da se izvrši transformacija može se nazvati drugim formatom. Na primer, ERP se može postaviti kao prvi format i može se transformisati u drugi format (npr. ERP2, CMP, OHP i ISP). U ovom slučaju, ERP2 ima neku vrstu EPR formata koji ima iste uslove, kao što su 3D model i konfiguracija lica, ali neka druga podešavanja. Alternativno, formati za projekciju mogu biti isti format sa istim podešavanjima formata projekcije (npr. ERP = ERP2) i mogu imati različite veličine slike ili rezolucije.
Alternativno, mogu se primeniti neki od sledećih procesa podešavanja slike. Radi lakšeg opisa, takav primer je pomenut, ali svaki od prvog formata i drugog formata može biti jedan od različitih formata projekcije. Međutim, predmetni pronalazak nije ograničen na to i mogu se izvršiti modifikacije.
[0447] Tokom procesa transformacije formata, piksel slike nakon transformacije (celobrojni piksel) može se dobiti iz piksela decimalne jedinice, kao i celobrojni jedinični piksel, na slici pre transformacije zbog različitih karakteristika koordinatnog sistema, a samim tim se i interpolacija može izvršiti. Interpolacioni filter koji se koristi u ovom slučaju može biti isti ili sličan prethodno opisanom. U ovom slučaju, povezane informacije mogu biti eksplicitno generisane izborom jednog od većeg broja kandidata za interpolacioni filter, ili interpolacioni filter može biti implicitno određen prema unapred određenom pravilu. Na primer, unapred određeni interpolacioni filter može da se koristi prema formatu projekcije, formatu boje i tipu isečka/pločice (slice/tile). Takođe, kada je interpolacioni filter eksplicitno obezbeđen, informacije u vezi sa informacijama o filteru (npr. koeficijent filtera) mogu biti uključene.
[0448] U delu za transformaciju formata, format projekcije se može definisati tako da uključuje pakovanje po regionima, itd. Odnosno, projekcija i pakovanje po regionima se mogu izvršiti tokom procesa transformacije formata. Alternativno, nakon procesa transformacije formata, proces kao što je pakovanje po regionima može se izvršiti pre nego što se izvrši kodiranje.
[0449] Koder može dodati informacije generisane tokom gornjeg procesa u tok bitova u jedinicama najmanje jedne od sekvenci, slika, isečaka, pločica i slično, a dekoder može raščlaniti povezane informacije iz toka bitova. Takođe, informacije mogu biti uključene u tok bitova u obliku SEI ili metapodataka.
[0450] Sledeće će biti opisan proces podešavanja slike koji se primenjuje na uređaj za kodiranje/dekodiranje slike od 360 stepeni prema jednoj realizaciji predmetnog pronalaska. Proces podešavanja slike prema predmetnom pronalasku može se primeniti na proces prethodne obrade, proces naknadne obrade, proces transformacije formata, proces inverzne transformacije formata i slično kod uređaja za kodiranje/dekodiranje slike od 360 stepeni, kao i opšte procese kodiranja/dekodiranja. Sledeći opis procesa podešavanja slike će se fokusirati na uređaj za kodiranje slike od 360 stepeni i može sadržati gore opisana podešavanja slike. Suvišan opis gore pomenutog procesa podešavanja slike će biti izostavljen. Takođe, sledeći primer će se fokusirati na proces podešavanja slike, a proces podešavanja inverzne slike može biti obrnuto izveden iz procesa podešavanja slike. Neki slučajevi mogu biti potvrđeni kroz gore pomenute različite realizacije predmetnog pronalaska.
[0451] Proces podešavanja slike prema predmetnom pronalasku može se izvesti u koraku projekcije slike od 360 stepeni, koraku pakovanja po regionima, koraku transformacije formata ili drugim koracima.
[0452] Sl.20 je konceptualni dijagram podele slike od 360 stepeni prema realizaciji predmetnog pronalaska. Na sl. 20, pretpostavlja se da sliku projektuje ERP.
[0453] Deo 20A prikazuje sliku koju projektuje ERP, a slika se može podeliti na različite načine. U primeru, opis se fokusira na isečak ili pločicu, a pretpostavlja se da su WO do W2 i H0 i H1 granične linije za particionisanje za isečak ili pločicu i prate redosled rasterskog skeniranja. Sledeći primer se fokusira na isečak i pločicu. Međutim, predmetni pronalazak nije ograničen na to, i na njega se može primeniti drugi postupak particionisanja.
[0454] Na primer, particionisanje se može izvršiti u jedinicama isečka (slice), a H0 i H1 mogu biti obezbeđeni kao granice particionisanja. Alternativno, particionisanje se može izvršiti u jedinicama pločica (tile), a WO do W2, H0 i H1 mogu biti obezbeđeni kao granice za particionisanje.
[0455] Deo 20B prikazuje primer u kojem se slika koju projektuje ERP deli na pločice (pretpostavlja se da ima iste granice za particionisanje pločica (WO do W2, H0 i H1 su svi aktivirani) kao što je prikazano u delu 20A). Kada se pretpostavi da je region P cela slika, a region V region na kome se zadržava pogled korisnika ili okvir za prikaz, mogu postojati različiti postupci da bi se obezbedila slika koja odgovara prozoru za prikaz. Na primer, region koji odgovara prozoru za prikaz može se dobiti dekodiranjem cele slike (npr. pločice od a do i). U ovom slučaju, cela slika se može dekodirati, a pločica od a do i (ovde region A region B) može biti dekodirana kada se slika podeli na particije. Alternativno, region koji odgovara polju za prikaz može se dobiti dekodiranjem regiona koji pripada okviru za prikaz. U ovom slučaju, kada je slika podeljena, region koji odgovara okviru za prikaz može se dobiti iz slike restaurirane dekodiranjem pločica f, g, j i k (ovde, region B). Prvi slučaj se može nazvati punim dekodiranjem (ili kodiranjem nezavisnim od okvira za prikaz), a drugi slučaj se može nazvati delimičnim dekodiranjem (ili kodiranjem zavisnim od okvira za prikaz). Poslednji slučaj može biti primer koji se može pojaviti na slici od 360 stepeni sa velikom količinom podataka. Postupak particionisanja zasnovan na jedinicama pločica može se češće koristiti nego postupak particionisanja zasnovan na jedinicama isečaka, tako da se particionisani region može fleksibilno dobiti. Za delimično dekodiranje, referentnost jedinice za particionisanje može biti prostorno ili privremeno ograničena (ovde, implicitno obrađena) jer nije moguće pronaći gde će se pojaviti tačka gledišta, a kodiranje/dekodiranje se može izvršiti uzimajući u obzir ograničenje. Sledeći primer će biti opisan, fokusirajući se na potpuno dekodiranje, ali će biti opisano particionisanje slike od 360 stepeni, fokusirajući se na pločicu (ili postupak pravougaonog particionisanja predmetnog pronalaska) kako bi se pripremili za delimično dekodiranje. Međutim, sledeći opis se može primeniti na druge jedinice za particionisanje na isti način ili na modifikovan način.
[0456] Sl. 21 je primer dijagrama podele slike od 360 stepeni i rekonstrukcije slike prema realizaciji predmetnog pronalaska. Na sl.21, pretpostavlja se da sliku projektuje CMP.
[0457] Deo 21A prikazuje sliku koju projektuje CMP, a slika se može podeliti na različite načine. Pretpostavlja se da WO do W2, H0 i H1 dele granične linije lica, isečka i pločice i prate redosled rasterskog skeniranja.
[0458] Na primer, particionisanje se može izvršiti u jedinicama isečka (slice), a H0 i H1 mogu biti obezbeđene kao granice particionisanja. Alternativno, particionisanje se može izvršiti u jedinicama pločica, a WO do W2, H0 i H1 mogu biti obezbeđeni kao granice za particionisanje. Alternativno, particionisanje se može izvršiti u jedinicama lica, a WO do W2, H0 i H1 mogu biti obezbeđeni kao granice particionisanja. U ovom primeru se pretpostavlja da je lice deo jedinice za particionisanje.
[0459] U ovom slučaju, lice može biti jedinica za particionisanje (ovde, zavisno kodiranje/dekodiranje) koja se vrši da bi se klasifikovali ili razlikovali regioni koji imaju različita svojstva (ovde, ravni koordinatni sistem svakog lica) na istoj slici prema karakteristikama, tipu slike (u primeru, slika od 360 stepeni i format projekcije), i slično, dok isečak ili pločica mogu biti jedinica za particionisanje (ovde nezavisno kodiranje/dekodiranje) koja se vrši da bi se slika podelila prema definiciji korisnika. Takođe, lice može biti jedinica koja je podeljena unapred određenom definicijom (ili indukcijom iz informacija o formatu projekcije) tokom procesa projekcije u skladu sa formatom projekcije, dok isečak ili pločica mogu biti jedinica koja je podeljena eksplicitnim generisanjem informacija o particionisanju prema definicijama korisnika. Takođe, lice može imati poligonalni oblik particionisanja uključujući četvorougao prema formatu projekcije, isečak može imati bilo koji oblik particionisanja koji se ne može definisati kao četvorougao ili mnogougao, a pločica može imati četvorougaoni oblik particionisanja. Podešavanje jedinice za particionisanje može biti definisano samo za opis ovog primera.
[0460] U primeru je opisano da je lice jedinica za particionisanje klasifikovana za razlikovanje regiona. Međutim, lice može biti jedinica za izvođenje nezavisnog kodiranja/dekodiranja u skladu sa postavkama kodiranja/dekodiranja kao najmanje jedna jedinica lica, i može imati postavke za izvođenje nezavisnog kodiranja/dekodiranja u kombinaciji sa pločicom, slajdom i slično. U ovom slučaju, eksplicitne informacije pločice i isečka mogu da se generišu kada se lice kombinuje sa pločicom, isečkom i slično, ili se pločica i isečak mogu implicitno kombinovati na osnovu informacija o licu. Alternativno, eksplicitne informacije pločice i isečka mogu da se generišu na osnovu informacija o licu.
[0461] Kao prvi primer, izvodi se jedan proces podele na particije slike (ovde, lice), a particionisanje slike može implicitno da izostavi informacije o particionisanju (koje se dobijaju iz informacija o formatu projekcije). Ovaj primer je za zavisna podešavanja kodiranja/dekodiranja i može biti primer koji odgovara slučaju u kojem referentnost između jedinica lica nije ograničena.
[0462] Kao drugi primer, izvodi se jedan proces podele na particije slike (ovde, lice), a particionisanje slike može eksplicitno da generiše informacije o particionisanju. Ovaj primer je za zavisna podešavanja kodiranja/dekodiranja i može biti primer koji odgovara slučaju u kojem referentnost između jedinica lica nije ograničena.
[0463] Kao treći primer, izvodi se veći broj procesa particionisanja slike (ovde lice i pločica), neko particionisanje slike (ovde, lice) može implicitno da izostavi ili eksplicitno generiše informacije o particionisanju, a drugo particionisanje slike (ovde, pločica) može eksplicitno da generiše informacije o particionisanju. U ovom primeru, jedan proces particionisanja slike (ovde, lice) prethodi drugom procesu particionisanja slike (ovde, pločica).
[0464] Kao četvrti primer, izvodi se veći broj procesa particionisanja slike, neko particionisanje slike (ovde, lice) može implicitno da izostavi ili eksplicitno generiše informacije o particionisanju, a drugo particionisanje slike (ovde, pločica) može eksplicitno da generiše informacije o particionisanju na osnovu neke particije slike (ovde, lice). U ovom primeru, jedan proces particionisanja slike (ovde, lice) prethodi drugom procesu particionisanja slike (ovde, pločica). U nekim slučajevima (pretpostavlja se da je drugi primer) ovog primera, može biti isto da su informacije o particionisanju eksplicitno generisane, ali može postojati razlika u konfiguraciji informacija o particionisanju.
[0465] Kao peti primer, izvodi se veći broj procesa particionisanja slike, neke particije slike (ovde, lice) mogu implicitno da izostave informacije o particionisanju, a druge particije slike (ovde, pločica) mogu da izostave informacije o implicitnom particionisanju na osnovu nekih particija slike (ovde lice). Na primer, jedinica lica može biti pojedinačno postavljena kao jedinica pločice ili više jedinica lica (ovde, kada susedna lica imaju kontinuitet, jedinice lica su grupisane; u suprotnom, jedinice lica nisu grupisane; B2-B3-B1 i B4-B0-B5 u delu 18A) mogu se postaviti kao jedinica pločica. Prema unapred određenom pravilu, jedinica lica može biti postavljena kao jedinica pločica. Ovaj primer je za nezavisna podešavanja kodiranja/dekodiranja i može biti primer koji odgovara slučaju u kojem je referentnost između jedinica lica ograničena. Odnosno, u nekim slučajevima (pretpostavlja se prvi primer), može biti isto da se informacije o particionisanju implicitno obrađuju, ali može postojati razlika u postavkama kodiranja/dekodiranja.
[0466] Primer može biti opis slučaja u kojem se proces podele na particije može izvršiti u koraku projekcije, koraku pakovanja po regionima, početnom koraku kodiranja/dekodiranja i slično, i može biti bilo koji drugi proces podele na particije slike koji se izvodi u koderu/dekoderu.
[0467] U delu 21A, pravougaona slika se može konstruisati dodavanjem regiona B, koji ne uključuje podatke, regionu A, koji uključuje podatke. U ovom slučaju, lokacija, veličina, oblik, broj i slično regiona A i regiona B mogu biti informacije koje se mogu proveriti kroz format projekcije ili slično ili informacije koje se mogu proveriti kada se informacija o projektovanoj slici eksplicitno generiše, a povezane informacije mogu biti predstavljene sa gore opisanim informacijama o particionisanju slike, informacijama o rekonstrukciji slike i slično. Na primer, informacije (npr. part_top, part_left, part_width, part_height i part_convert_flag) koje se odnose na specifične regione projektovane slike mogu biti predstavljene kao što je prikazano u Tabeli 4 i Tabeli 5. Međutim, predmetni pronalazak nije ograničen na to i može se primeniti drugim slučajevima (npr. drugi format projekcije, druga podešavanja projekcije, itd.).
[0468] Region B i region A mogu biti konstruisani kao jedna slika i zatim kodirani ili dekodirani. Alternativno, particionisanje se može izvršiti uzimajući u obzir karakteristike regiona, i mogu se primeniti različita podešavanja kodiranja/dekodiranja. Na primer, kodiranje ili dekodiranje se možda neće izvršiti u regionu B korišćenjem informacija o tome da li da se izvrši kodiranje ili dekodiranje (npr. tile_coded_flag kada se pretpostavlja da je jedinica za particionisanje pločica). U ovom slučaju, odgovarajući region može biti vraćen na određene podatke (ovde, bilo koja vrednost piksela) prema unapred određenom pravilu. Alternativno, u gore opisanom procesu particionisanja slike, region B može imati različite postavke kodiranja/dekodiranja od regiona A. Alternativno, odgovarajući region može biti uklonjen izvođenjem procesa pakovanja po regionima.
[0469] Deo 21B pokazuje primer u kojem je slika upakovana od strane CMP-a podeljena na pločice, isečke ili lica. U ovom slučaju, upakovana slika je slika na kojoj se vrši proces preuređivanja lica ili proces pakovanja po regionima i može biti slika dobijena izvođenjem particionisanja slike i rekonstrukcije slike prema predmetnom pronalasku.
[0470] U delu 21B, pravougaoni oblik se može konstruisati da uključi region koji uključuje podatke. U ovom slučaju, lokacija, veličina, oblik, broj i slično regiona mogu biti informacije koje se mogu proveriti putem unapred određene postavke ili informacije koje se mogu proveriti kada se informacije u vezi sa upakovanom slikom eksplicitno generišu, a povezane informacije mogu biti predstavljene sa gore opisanim informacijama o particionisanju slike, informacijama o rekonstrukciji slike i slično. Na primer, informacije (npr. part_top, part left, part_width, part_height i part_convert_flag) u vezi sa određenim regionom upakovane slike mogu biti predstavljene kao što je prikazano u Tabeli 4 i Tabeli 5.
[0471] Upakovana slika može biti podeljena korišćenjem različitih postupaka particionisanja. Na primer, particionisanje se može izvršiti u jedinicama preseka, a H0 može biti obezbeđena kao granica particionisanja. Alternativno, particionisanje se može izvršiti u jedinicama pločica, a WO, W1 i H0 mogu biti obezbeđeni kao granice za particionisanje. Alternativno, particionisanje se može izvršiti u prednjim jedinicama, a WO, W1 i H0 mogu biti obezbeđeni kao granice za particionisanje.
[0472] Proces podele na particije slike i proces rekonstrukcije slike prema predmetnom pronalasku mogu se izvesti na projektovanoj slici. U ovom slučaju, proces rekonstrukcije se može koristiti za preraspodelu lica na slici, kao i piksela na slici. Ovo može biti mogući primer kada je slika podeljena ili konstruisana sa više lica. Sledeći primer će biti opisan, fokusirajući se na slučaj u kojem je slika podeljena na pločice na osnovu jedinice lica.
[0473] SX,Y (S0,0 do S3,2) u delu 21A može odgovarati S'U,V (S'0,0 do S'2,1) u delu 21B (ovde X i Y mogu biti isti ili različiti od U i V), a proces rekonstrukcije se može izvoditi u čeonim jedinicama. Na primer, S2,1, S3,1, S0,1, S1,2, S1,1 i S1,0 mogu biti dodeljeni S'0,0, S'1,0, S'2,0, S '0,1, S'1,1 i S'2,1 (preraspodela lica). Takođe, S2,1, S3,1 i S0,1 se ne mogu rekonstruisati (preraspodela piksela), a S1,2, S1,1 i S1,0 se mogu rotirati za 90 stepeni i zatim rekonstruisati. Ovo može biti predstavljeno kao što je prikazano u delu 21C. U delu 21C, horizontalno postavljeni simboli S1,0, S1,1 i S1,2 mogu biti slike koje su horizontalno postavljene da bi se održao kontinuitet slike.
[0474] Rekonstrukcija lica može biti implicitno ili eksplicitno obrađena u zavisnosti od podešavanja kodiranja/dekodiranja. Implicitna obrada se može izvršiti prema unapred određenom pravilu uzimajući u obzir tip (ovde, slika od 360 stepeni) i karakteristike (ovde, format projekcije, itd.) slike.
[0475] Na primer, za S'0,0 i S'1,0; S'1,0 i S'2,0; S'0,1 i S'1,1; i S'1,1 i S'2,1 u delu 21C, postoji kontinuitet slike (ili korelacija) između oba lica u odnosu na granicu lica, a deo 21C može biti primer u kojem postoji kontinuitet između tri gornja lica i tri donja lica. Dok se slika deli na više lica kroz proces projekcije iz 3D prostora u 2D prostor i zatim pakuje za svaki region, rekonstrukcija se može izvršiti kako bi se povećao kontinuitet slike između lica kako bi se lica efikasno rekonstruisala. Takva rekonstrukcija lica može biti unapred određena i obrađena.
[0476] Alternativno, proces rekonstrukcije se može izvršiti eksplicitnom obradom, a informacije o rekonstrukciji mogu da se generišu.
[0477] Na primer, kada se informacija (npr. jedna od implicitno dobijenih informacija i eksplicitno generisanih informacija) u vezi sa M x N konstrukcijom (npr.6 x 1, 3 x 2, 2 x 3, 1 x 6 i slično za CMP compact; u ovom primeru se pretpostavlja konfiguracija 3 x 2) proverava kroz proces pakovanja po regionima, rekonstrukcija lica se može izvršiti prema M x N konstrukciji, a zatim se mogu generisati informacije o rekonstrukciji lica. Na primer, kada se lica preurede na slici, informacije o indeksu (ili informacije o lokacijama na slici) mogu biti dodeljene svakom licu. Kada su pikseli preuređeni na licu, mogu se dodeliti informacije o režimu za rekonstrukciju.
[0478] Indeksne informacije mogu biti unapred definisane kao što je prikazano u delovima 18A do 18C na Sl. 18. U delovima 21A do 21C, SX,Y ili S'U,V predstavlja svako lice koristeći informacije o lokaciji (npr. S[i][j]) koje ukazuju na širinu i visinu ili koristeći jednu informaciju o lokaciji (npr. S[i] pretpostavlja se da se informacije o lokaciji dodeljuju rasterskim redosledom skeniranja, počevši od gornje leve strane slike), a indeks svakog lica može biti dodeljen.
[0479] Na primer, kada se indeks dodeli korišćenjem informacija o lokaciji koje ukazuju na širinu i visinu, indeks lica #2 može biti dodeljen S'0,0, indeks lica #3 može biti dodeljen S'1,0, indeks lica # 1 može biti dodeljen S'2,0, indeks lica #5 može biti dodeljen S'0,1, indeks lica #0 može biti dodeljen S'1,1, a indeks lica #4 može biti dodeljen S' 2,1, kao što je prikazano u delu 21C. Alternativno, kada se indeks dodeli korišćenjem jedne informacije o lokaciji, indeks lica #2 može biti dodeljen S[0], indeks lica #3 može biti dodeljen S[1], indeks lica #1 može biti dodeljen S[2], indeks lica #5 može biti dodeljen S[3], indeks lica #0 može biti dodeljen S[4], a indeks lica #4 može biti dodeljen S[5]. Radi lakšeg opisa, u sledećem primeru, S'0,0 do S'2,1 se mogu nazvati a do f. Alternativno, svako lice može biti predstavljeno korišćenjem informacija o lokaciji koje ukazuju na širinu i visinu jedinice piksela ili bloka na osnovu gornjeg levog ugla slike.
[0480] Za upakovanu sliku dobijenu procesom rekonstrukcije slike (ili procesom pakovanja po regionima), redosled skeniranja lica je isti ili različit od redosleda skeniranja slike u zavisnosti od podešavanja rekonstrukcije. Na primer, kada se jedan red skeniranja (npr. rastersko skeniranje) primeni na sliku prikazanu u delu 21A, a, b i c mogu imati isti redosled skeniranja, a d, e i f mogu imati različite redoslede skeniranja. Na primer, kada redosled skeniranja za deo 21A ili redosled skeniranja za a, b i c sledi redosled (0,0) □ (1,0) □ (0,1) □ (1,1), redosled skeniranja za d, e i f može da sledi redosled (1,0) □ (1,1) □ (0,0) □ (0,1). Ovo se može odrediti prema podešavanjima rekonstrukcije slike, a takva postavka se može primeniti čak i na druge formate projekcije.
[0481] U procesu particionisanja slike prikazanom u delu 21B, pločica se može pojedinačno postaviti kao jedinica lica. Na primer, svako od lica od a do f može biti postavljeno kao jedinica pločica. Alternativno, više jedinica lica može biti postavljeno kao pločica. Na primer, lica a do c mogu biti postavljena kao jedna pločica, a lica d do f mogu biti postavljena kao jedna pločica. Konstrukcija se može odrediti na osnovu karakteristika lica (npr. kontinuitet između lica, itd.), a za razliku od gornjeg primera, moguća su različita podešavanja pločica za lica.
[0482] Sledi primer informacija o particionisanju prema većem broju procesa particionisanja slike. U ovom primeru, pretpostavlja se da su informacije o particionisanju za lice izostavljene, jedinica osim lica je pločica, a informacije o particionisanju se različito obrađuju.
[0483] Kao prvi primer, informacije o particionisanju slike mogu se dobiti na osnovu informacija o licu i mogu se implicitno izostaviti. Na primer, lice može biti pojedinačno postavljeno kao pločica, ili više lica može biti postavljeno kao pločica. U ovom slučaju, kada je najmanje jedno lice postavljeno kao pločica, ovo se može odrediti prema unapred određenom pravilu na osnovu informacija o licu (npr. kontinuitet ili korelacija).
[0484] Kao drugi primer, informacija o particionisanju slike može biti eksplicitno generisana bez obzira na informacije o licu. Na primer, kada se informacije o particionisanju generišu korišćenjem broja kolona (ovde, num_tile_columns) i broja redova (ovde, num_tile_rovs) pločice, informacije o particionisanju mogu da se generišu postupkom gore opisanog procesa particionisanja slike. Na primer, broj kolona pločice može da se kreće od 0 do širine slike ili širine bloka (ovde je jedinica dobijena iz dela za particionisanje slike), a broj redova pločice može da se kreće od 0 do visine slike ili visine bloka. Takođe, mogu se generisati dodatne informacije o particionisanju (npr. uniform_spacing_flag). U ovom slučaju, granica lica i granica jedinice za particionisanje mogu ili ne moraju da se podudaraju jedna sa drugom u zavisnosti od podešavanja particionisanja.
[0485] Kao treći primer, informacija o particionisanju slike može biti eksplicitno generisana na osnovu informacija o licu. Na primer, kada se informacije o particionisanju generišu korišćenjem broja kolona i redova pločice, informacije o particionisanju mogu da se generišu na osnovu informacija o licu (ovde se broj kolona kreće od 0 do 2, a broj redova se kreće od 0 do 1 pošto je konfiguracija lica na slici 3x2). Na primer, broj kolona pločice može da se kreće od 0 do 2, a broj redova pločice može da se kreće od 0 do 1. Takođe, dodatne informacije o particionisanju (npr. uniform_spacing_flag) možda neće biti generisane. U ovom slučaju, granica lica i granica jedinice za particionisanje mogu se međusobno poklapati.
[0486] U nekim slučajevima (pretpostavlja se drugi primer i treći primer), element sintakse informacija o particionisanju može biti drugačije definisan, ili podešavanja elementa sintakse (npr. postavke binarizacije; kada je opseg grupe kandidata za element sintakse ograničen i mali, može se koristiti i druga binarizacija) može se drugačije primeniti iako se koristi isti element sintakse. Gornji primer je opisan za neke od različitih elemenata informacija o particionisanju. Međutim, predmetni pronalazak nije ograničen na to, i može se razumeti da su druga podešavanja moguća u zavisnosti od toga da li su informacije o particionisanju generisane na osnovu informacija o licu.
[0487] Sl. 22 je primer dijagrama u kome je slika upakovana ili projektovana od strane CMP-a podeljena na pločice.
[0488] U ovom slučaju, pretpostavlja se da ima iste granice za particionisanje jedinice pločica (WO do W2, H0 i H1 su sve aktivirane) kao one prikazane u delu 21A na Sl.21 i ima iste granice za particionisanje pločica (WO, W1 i H0 su svi aktivirani) kao one prikazane u delu 21B na Sl.21. Kada se pretpostavi da region P označava celu sliku, a region V ukazuje na okvir za prikaz, može se izvršiti potpuno ili delimično dekodiranje. Ovaj primer će biti opisan, fokusirajući se na delimično dekodiranje. U delu 22A, pločice e, f i g mogu se dekodirati za CMP (leva strana), a pločice a, c i e mogu se dekodirati za CMP compact (desna strana) da bi se dobio region koji odgovara prozoru za prikaz. U delu 22B, pločice b, f i i mogu se dekodirati za CMP, a pločice od d, e i f mogu se dekodirati za CMP kompakt da bi se dobio region koji odgovara prozoru za prikaz.
[0489] Gornji primer je opisan za slučaj u kojem se podela preseka, pločice ili sličnog vrši na osnovu jedinice lica (ili granice lica). Međutim, kao što je prikazano u delu 20A na Sl. 20, particionisanje se može izvršiti na unutrašnjoj strani lica (npr. slika je sastavljena od jednog lica u ERP-u i sastavljena od više lica u drugom formatu projekcije), ili se particionisanje može izvršiti na granici lica kao i iznutra.
[0490] Sl.23 je konceptualni dijagram koji prikazuje primer promene veličine slike od 360 stepeni prema jednoj realizaciji predmetnog pronalaska. U ovom slučaju, pretpostavlja se da sliku projektuje ERP. Takođe, biće opisan sledeći primer, fokusirajući se na slučaj proširenja.
[0491] Veličina projektovane slike može se promeniti kroz faktor skaliranja ili kroz faktor pomeraja u zavisnosti od tipa promene veličine slike. Ovde, slika pre promene veličine može biti P_Width x P_Height, a slika nakon promene veličine može biti P'_Width x P'_Height.
[0492] Što se tiče faktora skaliranja, nakon što se širina i visina slike promene kroz faktore skaliranja (ovde, a po širini i b po visini), širina (P_Width x a) i visina (P_Height x b) slike mogu biti dobijene. Za faktor pomeraja, nakon što se širina i visina slike promene kroz faktore pomeraja (ovde L i R po širini i T i B po visini), širina (P_Width L R) i visina (P_Height T B) slike se mogu dobiti. Promena veličine se može izvršiti korišćenjem unapred određenog postupka, ili se promena veličine može izvršiti korišćenjem jednog postupka izabranog iz većeg broja postupaka.
[0493] Postupak obrade podataka u sledećem primeru će biti opisan, fokusirajući se na slučaj faktora pomeraja. Za faktor pomeraja, kao postupak obrade podataka, može postojati postupak popunjavanja korišćenjem unapred određene vrednosti piksela, postupak popunjavanja kopiranjem spoljašnjih piksela, postupak popunjavanja kopiranjem specifičnog regiona slike, postupak popunjavanja transformacijom određenog regiona slike i slično.
[0494] Veličina slike od 360 stepeni može se promeniti uzimajući u obzir karakteristike u kojima je prisutan kontinuitet na granici slike. Za ERP, spoljna granica nije prisutna u 3D prostoru, ali može biti prisutna kada se 3D prostor transformiše u 2D prostor kroz proces projekcije. Podaci u graničnom regionu obuhvataju podatke sa spoljnim kontinuitetom, ali mogu imati granicu u smislu prostornih karakteristika. Promena veličine se može izvršiti uzimajući u obzir takve karakteristike. U ovom slučaju, kontinuitet se može proveriti prema formatu projekcije ili slično. Na primer, ERP slika može biti slika koja ima karakteristike u kojima su obe krajnje granice neprekidne. Ovaj primer će biti opisan, pod pretpostavkom da su leva i desna granica slike neprekidne jedna sa drugom, a gornja i donja granica slike su neprekidne jedna sa drugom. Biće opisan postupak obrade podataka, fokusirajući se na postupak popunjavanja kopiranjem određenog regiona slike i postupak popunjavanja transformisanjem određenog regiona slike.
[0495] Kada se veličina slike promeni ulevo, region promene veličine (ovde, LC ili TL LC BL) može biti popunjen podacima desnog regiona (ovde, tr rc br) slike koji ima kontinuitet sa levom stranom slike. Kada se veličina slike promeni udesno, region promene veličine (ovde, RC ili TR RC BR) može biti popunjen podacima levog regiona (ovde, tl Ic bl) slike koji ima kontinuitet sa desnom stranom slike. Kada se veličina slike promeni nagore, region promene veličine (ovde TC ili TL TC TR) može biti popunjen podacima donjeg regiona (ovde bl be br) slike koji ima kontinuitet sa gornjom stranom. Kada se veličina slike promeni naniže, region promene veličine (ovde BC ili BL BC BR) može da se unese sa podacima.
[0496] Kada je veličina ili dužina regiona sa promenjenom veličinom m, region promene veličine može imati opseg od (-m,y) do (-1,y) (promena veličine nalevo) ili opseg od (P_Width, y) do ( P_Width m - 1,y) (promena veličine udesno) u odnosu na koordinate slike pre promene veličine (ovde se x kreće od 0 do P_Width - 1). Lokacija x' regiona za prikupljanje podataka regiona sa promenjenom veličinom može se izvesti iz formule x' = (x P_Width) % P_Width. U ovom slučaju, x označava koordinatu regiona promenjene veličine u odnosu na koordinate slike pre promene veličine, a x' označava koordinatu regiona koji se odnosi na region promenjene veličine u odnosu na koordinate slike pre promene veličine. Na primer, kada se veličina slike promeni ulevo, m je 4, a širina slike 16, odgovarajući podaci za (-4,y) se mogu dobiti iz (12,y), odgovarajući podaci za (-3,y) se mogu dobiti iz (13,y), odgovarajući podaci za (-2,y) mogu se dobiti iz (14,y), a odgovarajući podaci za (-1,y) mogu se dobiti iz (15,y ). Alternativno, kada se veličina slike promeni udesno, m je 4, a širina slike je 16, odgovarajući podaci za (16,y) se mogu dobiti iz (0,i), odgovarajući podaci za (17,y) mogu se dobiti iz (1,y), odgovarajući podaci za (18,y) mogu se dobiti iz (2,y), a odgovarajući podaci za (19,y) mogu se dobiti iz (3,y).
[0497] Kada je veličina ili dužina regiona sa promenjenom veličinom n, region promene veličine može imati opseg od (x,-n) do (x,-1) (promena veličine naviše) ili opseg od (x,P_Height) do (x,P_Height n - 1) (promena veličine naniže) u odnosu na koordinate slike pre promene veličine (ovde se i kreće od 0 do P_Height - 1). Lokacija (y') regiona za prikupljanje podataka regiona promenjene veličine može biti izvedena iz formule y' = (y P_Height) % P_Height. U ovom slučaju, y označava koordinatu regiona sa promenjenom veličinom u odnosu na koordinate slike pre promene veličine, a y' označava koordinatu regiona koji se odnosi na region promenjene veličine u odnosu na koordinate slike pre promene veličine. Na primer, kada se veličina slike promeni nagore, n je 4, a visina slike je 16, odgovarajući podaci za (x,-4) se mogu dobiti iz (x,12), odgovarajući podaci za (x,-3) se mogu dobiti iz (x,13), odgovarajući podaci za (x,-2) mogu se dobiti iz (x,14), a odgovarajući podaci za (x,-1) mogu se dobiti iz (x,15). Alternativno, kada se veličina slike promeni naniže, n je 4, a visina slike je 16, odgovarajući podaci (x,16) se mogu dobiti iz (x,0), odgovarajući podaci (x,17) mogu se dobiti iz (x,1), odgovarajući podaci za (x, 18) mogu se dobiti iz (x,2), a odgovarajući podaci za (x,19) mogu se dobiti iz (x,3).
[0498] Nakon što se region promenjene veličine popuni podacima, promena veličine se može izvršiti u odnosu na koordinate slike nakon promene veličine (ovde se x kreće od 0 do P'_Width -1, a y se kreće od 0 do P'_Height - 1). Primer se može primeniti na koordinatni sistem geografske širine i dužine.
[0499] Mogu se obezbediti različite kombinacije za promenu veličine na sledeći način.
[0500] Na primer, veličina slike se može promeniti ulevo za m. Alternativno, veličina slike se može promeniti udesno za n. Alternativno, slika se može promeniti nagore za o. Alternativno, veličina slike se može promeniti naniže za p.
[0501] Na primer, veličina slike može biti promenjena ulevo za m i udesno za n. Alternativno, slika se može promeniti nagore za o i naniže za p.
[0502] Na primer, veličina slike se može promeniti ulevo za m, udesno za n i nagore za o. Alternativno, veličina slike se može promeniti ulevo za m, udesno za n i nadole za p. Alternativno, veličina slike se može promeniti ulevo za m, nagore za o i nadole za p. Alternativno, veličina slike se može promeniti udesno za n, nagore za o i nadole za p.
[0503] Na primer, veličina slike se može promeniti ulevo za m, udesno za n, nagore za o i dole za p.
[0504] Kao u gornjem primeru, može se izvršiti barem jedna operacija promene veličine. Promena veličine slike može se implicitno izvršiti u skladu sa postavkama kodiranja/dekodiranja, ili informacije o promeni veličine mogu biti implicitno generisane, a zatim promena veličine slike može da se izvrši na osnovu generisanih informacija o promeni veličine. Odnosno, m, n, o i p iz gornjeg primera mogu se odrediti kao unapred određene vrednosti ili mogu biti eksplicitno generisane korišćenjem informacija o promeni veličine. Alternativno, neke se mogu odrediti kao unapred određene vrednosti, a druge mogu biti eksplicitno generisane.
[0505] Gornji primer je opisan, fokusirajući se na slučaj prikupljanja podataka iz određenih regiona slike, ali se mogu primeniti i drugi postupci. Podaci mogu biti piksel pre kodiranja ili piksel posle kodiranja i mogu se odrediti u skladu sa karakteristikama koraka promene veličine ili slike čija veličina treba da se promeni. Na primer, podaci se mogu odnositi na ulazni piksel projektovane slike, upakovanu sliku ili slično kada se promena veličine vrši u procesu prethodne obrade i koraku prethodnog kodiranja, a podaci se mogu odnositi na restaurirani piksel kada se promena veličine vrši u procesu naknadne obrade, koraku generisanja referentnog piksela unutar predikcije, koraku generisanja referentne slike, koraku filtriranja i slično. Takođe, promena veličine se može izvršiti pojedinačno korišćenjem postupka obrade podataka u svakom regionu sa promenjenom veličinom.
[0506] Slika 24 je konceptualni dijagram koji prikazuje kontinuitet između lica u formatu projekcije (npr. CHP, OHP ili ISP) prema jednoj realizaciji predmetnog pronalaska.
[0507] Preciznije, Sl.24 može prikazati primer slike sastavljene od više lica. Kontinuitet može biti karakteristika generisana u susednim regionima u 3D prostoru. Delovi 24A do 24C jasno pokazuju slučaj A koji ima i prostornu susednost i kontinuitet kada se transformacija vrši u 2D prostoru kroz proces projekcije, slučaj B da ima prostornu susednost, ali nema kontinuiteta, slučaj C da nema prostornu susednost, ali ima kontinuitet, i slučaj D da nema ni prostorne susednosti ni kontinuiteta. Za razliku od ovoga, opšte slike se klasifikuju u slučaj A da imaju i prostornu susednost i kontinuitet i slučaj D da nemaju ni prostornu susednost ni kontinuitet. U ovom slučaju, slučaj kontinuiteta odgovara nekom od primera (A ili C).
[0508] Odnosno, uz upućivanje na delove 24A do 24C, slučaj prostorne susednosti i kontinuiteta (ovde, što je opisano u odnosu na deo 24A) može biti prikazano kao b0 do b4, a slučaj koji nema prostornu susednost ali kontinuitet može biti prikazan kao BO do B6. Odnosno, slučajevi ukazuju na regione koji su susedni u 3D prostoru, i moguće je poboljšati performanse kodiranja korišćenjem karakteristika u kojima b0 do b4 i B0 do B6 imaju kontinuitet u procesu kodiranja.
[0509] Sl. 25 je konceptualni dijagram koji prikazuje kontinuitet lica u delu 21C koji je slika dobijena procesom rekonstrukcije slike ili procesom pakovanja po regionima u formatu CMP projekcije.
[0510] Ovde, deo 21C na Sl. 21 prikazuje preraspodelu slike od 360 stepeni raširenu u obliku kocke u delu 21A, a time i kontinuitet lica primenjen na deo 21A na Sl.21 se održava. Odnosno, kao što je prikazano u delu 25A, lice S2,1 može biti horizontalno kontinuirano sa licima S1,1 i S3,1 i može biti vertikalno kontinuirano sa licem S1,P rotiranim za 90 stepeni i licem S1,2 rotiranim za -90 stepeni.
[0511] Na isti način, kontinuitet lica S3,1, S0,1, S1,2, S1, 1 i S1,0 može se proveriti u delovima 25B do 25F.
[0512] Kontinuitet između lica može se definisati prema podešavanjima formata projekcije ili slično. Međutim, predmetni pronalazak nije ograničen na to i mogu se izvršiti modifikacije. Sledeći primer će biti opisan pod pretpostavkom da je prisutan kontinuitet kao što je prikazano na Sl. 24 i 25.
[0513] Sl.26 je primer dijagrama koji prikazuje promenu veličine slike u formatu CMP projekcije prema jednoj realizaciji predmetnog pronalaska.
[0514] Deo 26A prikazuje primer promene veličine slike, deo 26B prikazuje primer promene veličine jedinice lica (ili jedinice za particionisanje), a deo 26C prikazuje primer promene veličine slike i jedinice lica (ili primer višestruke promene veličine).
[0515] Veličina projektovane slike može se promeniti kroz faktor skaliranja ili kroz faktor pomeraja u zavisnosti od tipa promene veličine slike. Ovde, slika pre promene veličine može biti P_Width x P_Height, slika nakon promene veličine može biti P'_Width x P'_Height, a veličina lica može biti F_Width x F_Height. Veličina može biti ista ili različita u zavisnosti od lica, a širina i visina mogu biti iste ili različite u zavisnosti od lica. Međutim, radi lakšeg opisa, ovaj primer će biti opisan pod pretpostavkom da sva lica na slici imaju istu veličinu i oblik kvadrata. Takođe, opis pretpostavlja da su vrednosti promene veličine (ovde WX i HY) iste. U sledećem primeru biće opisan postupak obrade podataka, fokusirajući se na slučaj faktora pomeraja i takođe fokusirajući se na postupak popunjavanja kopiranjem specifičnog regiona slike i postupak popunjavanja transformisanjem specifičnog regiona slike. Gore navedena podešavanja mogu se primeniti čak i na slučaj prikazan na Sl.27.
[0516] Za delove 26A do 26C, granica lica može imati kontinuitet sa granicom drugog lica (ovde se pretpostavlja da ima kontinuitet koji odgovara delu 24A na Slici 24). Ovde se kontinuitet može klasifikovati u slučaj prostorne susednosti i kontinuiteta slike u 2D ravni (prvi primer) i slučaj da nema prostorne susednosti već kontinuiteta slike u 2D ravni (drugi primer).
[0517] Na primer, kada je kontinuitet u delu 24A na Sl.24 pretpostavlja se da gornji, levi, desni i donji regioni S1,1 mogu biti prostorno susedni i imati kontinuitet slike sa donjim, desnim, levim i gornjim regionima S1,0, S0,1, S2,1 , i S1,2 (prvi primer).
[0518] Alternativno, levi i desni regioni S1,0 nisu prostorno susedni, ali mogu imati kontinuitet slike sa gornjim regionima SO,1 i S2,1 (drugi primer). Takođe, levi region S0,1 možda nije prostorno susedan, ali ima kontinuitet slike jedan sa drugim (drugi primer). Takođe, levi region i desni region S1,2 mogu biti kontinuirani sa nižim regionima SO,1 i S2,1 (drugi primer). Ovo može biti samo ograničen primer, a mogu se primeniti i druge konfiguracije u zavisnosti od definicije i podešavanja formata projekcije. Radi lakšeg opisa, S0,0 do S3,2 u delu 26A se nazivaju od a do I.
[0519] Deo 26A može biti primer postupka popunjavanja koji koristi podatke o regionu koji ima kontinuitet prema spoljnoj granici slike. Opseg od regiona A, koji ne uključuje podatke, do regiona promenjene veličine (ovde, a0 do a2, c0, d0 do d2, i0 do i2, kO i l0 do l2) može biti popunjen bilo kojom unapred određenom vrednošću ili preko spoljašnjeg popunjavanja piksela i opseg od regiona B, koji uključuje stvarne podatke, do regiona sa promenjenom veličinom (ovde, b0, e0, h0 i j0) mogu biti popunjeni podacima regiona (ili lica) koji imaju kontinuitet slike. Na primer, b0 se može popuniti podacima gornje strane lica h, e0 se može popuniti podacima desne strane lica h, h0 se može popuniti podacima sa leve strane lica e, a j0 se može popuniti podacima donje strane lica h.
[0520] Preciznije, kao primer, b0 se može popuniti podacima o donjoj strani lica dobijenim rotiranjem lica h za 180 stepeni, a j0 se može popuniti podacima o gornjoj strani lica dobijenim rotiranjem lica h za 180 stepeni. Međutim, ovaj primer (uključujući sledeći primer) može predstavljati samo lokaciju referentnog lica, a podaci dobijeni iz regiona sa promenjenom veličinom mogu se dobiti nakon procesa promene veličine (npr. rotacije, itd.) koji uzima u obzir kontinuitet između lica kao što je prikazano u Sl.24 i 25.
[0521] Deo 26B može biti primer postupka popunjavanja koji koristi podatke o regionu koji ima kontinuitet prema unutrašnjoj granici slike. U ovom primeru, drugačija operacija promene veličine se može izvršiti za svako lice. Proces redukcije može da se izvede u regionu A, a proces proširenja može da se izvede u regionu B. Na primer, veličina lica a može se promeniti (ovde, smanjeno) udesno za w0, a veličina lica b može se promeniti (ovde, prošireno) nalevo za w0. Alternativno, veličina lica a može se promeniti (ovde, smanjeno) nadole za h0, a lice e može se promeniti (ovde, prošireno) nagore za h0. U ovom primeru, kada se promena širine slike posmatra kroz lica a, b, c i d, lice a se smanjuje za w0, lice b je prošireno za w0 i w1, a lice c može biti smanjeno za w1. Dakle, širina slike pre promene veličine je ista kao i širina slike nakon promene veličine. Kada se promena visine slike posmatra kroz lica a, e i i, lice a se smanjuje za h0, lice e se proširuje za h0 i h1, a lice i se može smanjiti za h1. Dakle, visina slike pre promene veličine je ista kao i visina slike nakon promene veličine.
[0522] Promenjene veličine regiona (ovde, b0, e0, be, b1, bg, g0, h0, e1, ej, j0, gi, g1, j1 i h1) mogu se jednostavno ukloniti s obzirom na to da su regioni smanjeni iz regiona A koji ne uključuje podatke, i mogu biti popunjeni podacima o regionu koji ima kontinuitet s obzirom da su regioni prošireni iz regiona B koji uključuje stvarne podatke.
[0523] Na primer, b0 može biti ispunjen podacima gornje strane lica e; e0 se može popuniti podacima leve strane lica b; be može biti ispunjen podacima o levoj strani lica b, gornjoj strani lica e ili ponderisanim zbirom leve strane lica b i gornje strane lica e; b1 može biti ispunjen podacima gornje strane lica g; bg se može popuniti podacima o levoj strani lica b, gornjoj strani lica g ili ponderisanim zbirom desne strane lica b i gornje strane lica g; g0 se može popuniti podacima desne strane lica b; h0 se može popuniti podacima gornje strane lica b; e1 se može popuniti podacima leve strane lica j; ej se može popuniti podacima donje strane lica e, leve strane lica j, ili ponderisane sume donje strane lica e i leve strane lica j; j0 se može popuniti podacima donje strane lica e; gj se može popuniti podacima donje strane lica g, leve strane lica j, ili ponderisanim zbirom donje strane lica g i desne strane lica j; g1 se može popuniti podacima desne strane lica j; j1 se može popuniti podacima donje strane lica g; a h1 se može popuniti podacima donje strane lica j.
[0524] U gornjem primeru, kada je region promenjene veličine popunjen podacima specifičnih regiona slike, podaci odgovarajućeg regiona mogu se kopirati i zatim koristiti za popunjavanje regiona sa promenjenom veličinom ili se mogu transformisati na osnovu karakteristika, tipa slike i slično, a zatim se koristi za popunjavanje regiona promenjene veličine. Na primer, kada se slika od 360 stepeni može transformisati u 2D prostor prema formatu projekcije, koordinatni sistem (npr. 2D planarni koordinatni sistem) može biti definisan za svako lice. Radi lakšeg opisa, pretpostavlja se da se (x, y, z) u 3D prostoru transformiše u (x,y,C), (x,C,z) ili (C,y,z) za svako lice. Gornji primer ukazuje na slučaj u kojem se, iz regiona lica sa promenjenom veličinom, dobijaju podaci o licu koje nije odgovarajuće lice. Odnosno, kada se promena veličine izvrši na trenutnom licu, podaci drugog lica sa različitim karakteristikama koordinatnog sistema mogu se kopirati onakvim kakvi jesu, a zatim se koristiti. U ovom slučaju postoji mogućnost da je kontinuitet izobličen na osnovu granice promene veličine. U tu svrhu, podaci drugog lica dobijeni prema karakteristikama koordinatnog sistema trenutnog lica mogu se transformisati i koristiti za popunjavanje regiona sa promenjenom veličinom. Transformacija je, takođe, samo primer postupka obrade podataka, i predmetni pronalazak nije ograničen na to.
[0525] Kada se podaci specifičnih regiona slike kopiraju i koriste za popunjavanje regiona sa promenjenom veličinom, izobličeni kontinuitet (ili radikalno promenljiv kontinuitet) može biti uključen u granični region između regiona e promene veličine i regiona e0 promene veličine. Na primer, kontinuitet se može promeniti u odnosu na granicu, a ivica prave linije može biti zakrivljena u odnosu na granicu.
[0526] Kada se podaci specifičnih regiona slike transformišu i koriste za popunjavanje regiona sa promenjenom veličinom, kontinuitet koji se postepeno menja može biti uključen u granični region između regiona sa promenjenom veličinom.
[0527] Gornji primer može biti primer postupka obrade podataka predmetnog pronalaska da se transformišu podaci specifičnih regiona slike na osnovu karakteristika, tipa slike i slično i popuni region promene veličine transformisanim podacima.
[0528] Deo 26C može biti primer popunjavanja regiona sa promenjenom veličinom podacima o regionu koji ima kontinuitet prema granicama (unutrašnja granica i spoljna granica) slike u kombinaciji procesa promene veličine slike koji odgovaraju delovima 26A i 26B. Proces promene veličine ovog primera može biti izveden iz delova 26A i 26B, a njegov detaljan opis će biti izostavljen.
[0529] Deo 26A može biti primer procesa promene veličine slike, a deo 26B može biti primer promene veličine jedinice za particionisanje na slici. Deo 26C može biti primer većeg broja procesa promene veličine uključujući proces promene veličine slike i proces promene veličine jedinice za particionisanje na slici.
[0530] Na primer, veličina slike (ovde, prvi format) dobijena kroz proces projekcije može da se promeni (ovde, region C), a veličina slike (ovde, drugi format) dobijena procesom transformacije formata može da se promeni (ovde, region D). U ovom primeru, veličina slike koju projektuje ERP može biti promenjena (ovde, puna slika) i transformisana u sliku koju projektuje CMP kroz deo za transformaciju formata, a veličina slike koju projektuje CMP može se promeniti (ovde, jedinica lica). Gornji primer je primer u kojem se izvodi više operacija promene veličine. Međutim, predmetni pronalazak nije ograničen na to i mogu se izvršiti modifikacije.
[0531] Sl. 27 je primer dijagrama koji prikazuje promenu veličine slike transformisane i upakovane u format CMP projekcije prema jednoj realizaciji predmetnog pronalaska. Sl. 27, takođe, pretpostavlja kontinuitet između lica kao što je prikazano na Sl.25, pa stoga granica lica može imati kontinuitet sa granicom drugog lica.
[0532] U ovom primeru, faktori pomeraja od WO do W5 i H0 do H3 mogu imati različite vrednosti (ovde se pretpostavlja da se faktori pomeraja koriste kao vrednosti promene veličine). Na primer, faktori pomeraja mogu biti izvedeni iz unapred određene vrednosti, opsega interpredikcije pretraživanja kretanja, jedinice dobijene iz dela za particionisanje slike i slično, a mogući su i drugi slučajevi. U ovom slučaju, jedinica dobijena od jedinice za particionisanje piksela može da uključuje lice. Odnosno, vrednosti promene veličine se mogu odrediti na osnovu F_Width i F_Height.
[0533] Deo 27A je primer individualne promene veličine jednog lica (ovde, nagore, dole, levo i desno u odnosu na lice) i popunjavanja proširenih regiona podacima o regionu koji ima kontinuitet. Na primer, spoljni regioni a0 do a6 lica a mogu biti ispunjeni neprekidnim podacima, a spoljašnji regioni b0 do b6 lica b mogu biti ispunjeni neprekidnim podacima.
[0534] Deo 27B je primer promene veličine većeg broja lica (ovde, nagore, dole, levo i desno u odnosu na veći broj lica) i popunjavanja proširenih regiona podacima o regionu koji ima kontinuitet. Na primer, lica a, b i c se mogu proširiti na spoljne regione a0 do a4, b0 i b1, i c0 do c4.
[0535] Deo 27C može biti primer promene veličine pune slike (ovde, nagore, dole, levo i desno u odnosu na punu sliku) i popunjavanja proširenih regiona podacima o regionu koji imaju kontinuitet. Na primer, puna slika sastavljena od lica a do f može se proširiti na spoljne regione a0 do a2, b0, c0 do c2, d0 do d2 i f0 do f2.
[0536] Odnosno, promena veličine se može izvršiti u jednoj jedinici lica, u više jedinica lica koje imaju kontinuitet jedna sa drugom, i u celoj jedinici slike.
[0537] U gornjem primeru, regioni promene veličine (ovde, od a0 do f7) mogu biti popunjeni podacima o regionu (ili licu) koji imaju kontinuitet, kao što je prikazano u delu 24A. Odnosno, regioni sa promenjenom veličinom mogu biti popunjeni podacima gornjih strana, donjih strana, leve strane i desne strane lica od a do f.
[0538] Sl. 28 je primer dijagrama koji prikazuje postupak obrade podataka za promenu veličine slike od 360 stepeni prema jednoj realizaciji predmetnog pronalaska.
[0539] Uz upućivanje na Sl.28, region B (a0 do a2, ad0, b0, c0 do c2, cf1, d0 do d2, e0, f0 do f2), koji je region promenjene veličine, može biti popunjen podacima regiona koji ima kontinuitet među podacima o pikselima koji pripadaju od a do f. Takođe, region C (ad1, be, cf0), koji je drugi region sa promenjenom veličinom), može biti popunjen podacima regiona kome treba promeniti veličinu i podacima regiona koji imaju prostornu susednost, ali ne i kontinuitet u kombinaciji. Alternativno, pošto se promena veličine vrši između dva regiona (npr. a i d, b i e, i c i f) izabranih između a do f, region C može biti popunjen delovima podataka dva regiona u kombinaciji. Na primer, lice b i lice e mogu biti prostorno susedna jedno drugom, ali nemaju kontinuitet jedno sa drugim. Regionu promenjene veličine koji se nalazi između lica b i lica e može se promeniti veličina pomoću podataka lica b i podataka lica e. Na primer, region be može biti popunjen vrednošću dobijenom usrednjavanjem podataka lica b i podataka lica e ili vrednošću dobijenom preko ponderisanog zbira zasnovanog na udaljenosti. U ovom slučaju, piksel koji se koristi za podatke koji se koriste za popunjavanje regiona promene veličine na licu b i licu e može biti granični piksel za svako lice ili unutrašnji piksel svakog lica.
[0540] Ukratko, region promene veličine između jedinica za particionisanje slike može biti popunjen podacima generisanim korišćenjem delova podataka dve jedinice u kombinaciji.
[0541] Postupak obrade podataka može biti podržan u nekim uslovima (ovde, kada se promeni veličina većeg broja regiona).
[0542] U delovima 27A i 27B, oblast kojoj se menja veličina između jedinica za particionisanje se konstruiše pojedinačno za svaku jedinicu za particionisanje (u delu 27A, a6 i d1 su konstruisani za a i d, redom). Na sl.28, može se konstruisati jedan region kome se menja veličina između jedinica za particionisanje za susedne jedinice za particionisanje (ad1 je konstruisan za a i d). Podrazumeva se da postupak može biti uključen u grupu kandidata za postupak obrade podataka u delovima 27A i 27B i da se promena veličine može izvršiti korišćenjem postupka obrade podataka koji se razlikuje od gornjeg primera čak i na Sl.28.
[0543] U procesu promene veličine slike prema predmetnom pronalasku, unapred određeni postupak obrade podataka može se implicitno koristiti u regionu sa promenjenom veličinom, ili se može koristiti jedan od većeg broja postupaka obrade podataka za eksplicitno povezane informacije. Unapred određeni postupak obrade podataka može biti jedan od postupka popunjavanja korišćenjem bilo koje vrednosti piksela, postupka popunjavanja kopiranjem spoljašnjih piksela, postupka popunjavanja kopiranjem određenog regiona slike, postupka popunjavanja transformacijom određenog regiona slike, postupka popunjavanja koji koristi podatke izvedene iz više regiona slike, itd. Na primer, kada se region promene veličine nalazi unutar slike (npr. upakovana slika) i regioni sa obe strane (npr. lice) imaju prostornu susednost ali bez kontinuiteta, može se primeniti postupak obrade podataka da se popuni region sa promenjenom veličinom podacima izvedenim iz više regiona. Takođe, promena veličine se može izvršiti pomoću jednog postupka obrade podataka izabranog iz većeg broja postupaka obrade podataka, a povezane informacije o izboru mogu biti eksplicitno generisane. Ovo može biti primer primenljiv na opštu sliku kao i na sliku od 360 stepeni.
[0544] Koder može dodati informacije generisane tokom gornjeg procesa u tok bitova u jedinicama najmanje jedne od sekvenci, slika, isečaka, pločica i slično, a dekoder može raščlaniti povezane informacije iz toka bitova. Takođe, informacije mogu biti uključene u tok bitova u obliku SEI ili metapodataka. Proces podele na particije, proces rekonstrukcije i proces promene veličine za sliku od 360 stepeni su opisani, fokusirajući se na neke formate projekcije kao što su ERP i CMP. Međutim, predmetni pronalazak je ograničen na to, i gornji opis se može primeniti čak i na druge formate projekcije takav kakav je ili nakon modifikovanja.
[0545] Opisano je da se proces podešavanja slike za gornji uređaj za kodiranje/dekodiranje slike od 360 stepeni može primeniti na proces prethodne obrade, proces naknadne obrade, proces transformacije formata, proces transformacije inverznog formata i sl., kao i na procese kodiranja/dekodiranja.
[0546] Ukratko, proces projekcije može biti konstruisan tako da uključuje procese podešavanja slike. Preciznije, proces projekcije se može izvesti kao dodatak najmanje jednom od procesa podešavanja slike. Particionisanje se može izvršiti u jedinicama regiona (ili lica) na osnovu projektovane slike. U zavisnosti od formata projekcije, particionisanje se može izvršiti na jednom regionu ili na više regiona. Za particionisanje mogu se generisati informacije o particionisanju. Takođe, veličina projektovane slike se može promeniti ili se može promeniti veličina projektovanog regiona. U ovom slučaju, promena veličine se može izvršiti na najmanje jednom regionu. Za promenu veličine mogu se generisati informacije o promeni veličine. Takođe, projektovana slika može biti rekonstruisana (ili uređena licem), ili projektovani region može biti rekonstruisan. U ovom slučaju, rekonstrukcija se može izvršiti na najmanje jednom regionu. Za rekonstrukciju se mogu generisati informacije o rekonstrukciji.
[0547] Ukratko, proces pakovanja po regionima može biti konstruisan da uključi procese podešavanja slike. Preciznije, proces projekcije pakovanja po regionima može se izvesti kao dodatak najmanje jednom od procesa podešavanja slike. Proces podele na particije se može izvršiti u jedinicama regiona (ili lica) na osnovu upakovane slike. U zavisnosti od podešavanja pakovanja po regionima, particionisanje se može izvršiti na jednom regionu ili na više regiona. Za particionisanje mogu se generisati informacije o particionisanju. Takođe, veličina upakovane slike može biti promenjena, ili veličina pakovanog regiona može biti promenjena. U ovom slučaju, promena veličine se može izvršiti na najmanje jednom regionu. Za promenu veličine mogu se generisati informacije o promeni veličine. Takođe, upakovana slika može biti rekonstruisana, ili pakovani region može biti rekonstruisan. U ovom slučaju, rekonstrukcija se može izvršiti na najmanje jednom regionu. Za rekonstrukciju se mogu generisati informacije o rekonstrukciji.
[0548] Tokom procesa projekcije, svi ili neki od procesa podešavanja slike mogu biti obavljeni, a informacije o podešavanju slike mogu biti uključene. Ove informacije mogu biti informacije o podešavanju za projektovanu sliku. Preciznije, ove informacije mogu biti informacije o podešavanju za regione na projektovanoj slici.
[0549] Tokom procesa pakovanja po regionima, svi ili neki od procesa podešavanja slike mogu biti izvršeni, a informacije o podešavanju slike mogu biti uključene. Ove informacije mogu biti informacije o podešavanju za upakovanu sliku. Preciznije, ove informacije mogu biti informacije o podešavanju za regione na upakovanoj slici. Alternativno, ove informacije mogu biti informacije o mapiranju (npr. videti opis sa upućivanjem na Sl.11; ovo se može razumeti pod pretpostavkom da P0 i P1 označavaju projektovane slike, a SO do S5 označavaju upakovane slike) između projektovane slike i upakovane slike. Preciznije, ove informacije mogu biti informacije o mapiranju između određenog regiona na projektovanoj slici i određenog regiona na upakovanoj slici. Odnosno, ove informacije mogu biti informacije o podešavanju koje su dodeljene iz specifičnog regiona na projektovanoj slici određenom regionu na upakovanoj slici.
[0550] Informacije o slici mogu biti predstavljene kao informacije dobijene kroz gore opisane različite realizacije tokom procesa podešavanja slike predmetnog pronalaska. Na primer, kada su povezane informacije predstavljene korišćenjem najmanje jednog sintaksnog elementa u Tabeli 1 do Tabele 6, informacije o podešavanju za projektovanu sliku mogu da uključuju pic_width_in_samples, pic_height_in_samples, part_top[i], part_left[i], part_width[i], part_height [i], i slično, a informacije o podešavanju za upakovanu sliku mogu da uključuju pic_width_in_samples, pic_height_in_samples, part_top[i], part_left[i], part_width[i], part_height[i], convert_tipe_flag[i], part_resizing_ flag[i], top_height_offset[i], bottom_height_offset[i], left_width_offset[i], right_width_offset[i], resizing_tipe_flag[i] i slično. Gornji primer može biti primer eksplicitnog generisanja informacija o licima (npr. part_top[i], part_left[i], part_width[i] i part_height[i] među informacijama o podešavanju projektovane slike).
[0551] Neki od procesa podešavanja slike mogu biti uključeni u proces projekcije ili proces pakovanja po regionima koji odgovara formatu projekcije putem unapred određene operacije.
[0552] Na primer, ERP koristi postupak popunjavanja regiona proširenih ulevo za m i udesno za n podacima o regionima u smerovima koji su suprotni smerovima promene veličine za sliku, i stoga proces promene veličine može biti implicitno uključen. Alternativno, CMP koristi postupak popunjavanja regiona proširenih nagore za m, nadole za n, nalevo za o, i nadesno za p podacima o regionu koji ima kontinuitet sa regionom promenjene veličine, pa stoga proces promene veličine može biti implicitno uključeno.
[0553] U gornjem primeru, format za projekciju može biti primer zamenskih formata koji mogu da zamene konvencionalne projekcione formate ili primer dodatnih formata (npr. ERP1 i CMP1) za konvencionalne formate projekcije. Međutim, predmetni pronalazak nije ograničen na to, primeri različitih procesa podešavanja slike predmetnog pronalaska mogu se alternativno kombinovati, a slične primene mogu biti moguće i za druge formate.
[0554] Iako nije prikazano u uređaju za kodiranje slike i uređaju za dekodiranje slike na Sl.1 i 2, deo za particionisanje blokova može biti dodatno uključen. Informacije u vezi sa unapred zadatim delom kodiranja mogu se dobiti iz dela za particionisanje slike, a unapred zadati deo kodiranja može se odnositi na unapred zadatu (ili početnu) jedinicu za predviđanje, transformaciju, kvantizaciju, itd. tokom procesa kodiranja/dekodiranja slike. U ovom slučaju, deo za kodiranje može biti sastavljen od jednog bloka za kodiranje osvetljenosti i dva bloka za kodiranje boje prema formatu boje (ovde YCbCr), a veličina blokova se može odrediti prema formatu boje. Sledeći primer će biti opisan u odnosu na blokove (ovde komponenta osvetljenosti). U ovom slučaju, pretpostavlja se da je blok jedinica koja se može dobiti nakon što se odredi svaka jedinica, a takođe se pretpostavlja da su slična podešavanja primenljiva i na druge tipove blokova.
[0555] Deo za particionisanje blokova može biti podešen u vezi sa svakim elementom uređaja za kodiranje slike i uređaja za dekodiranje slike. Ovim procesom se može odrediti veličina i oblik blokova. U ovom slučaju, drugačiji blok može biti definisan za svaki element. Blok može biti blok predikcije za deo predikcije, blok transformacije za deo transformacije, blok za kvantizaciju za deo za kvantizaciju, ili slično. Međutim, predmetni pronalazak nije ograničen na to, i dodatna blok jedinica može biti definisana za drugi element. Veličina i oblik bloka mogu biti definisani širinom i visinom bloka.
[0556] Blok može biti izražen kao M x N od strane dela za particionisanje bloka i može se dobiti u opsegu od minimalne vrednosti do maksimalne vrednosti. Na primer, kada blok podržava kvadratni oblik i ima maksimalnu vrednost od 256 x 256 i minimalnu vrednost od 8 x 8, blok veličine 2<m>x 2<m>(ovde je m ceo broj od 3 do 8; na primer, 8 x 8, 16 x 16, 32 x 32, 64 x 64, 128 x 128 i 256 x 256), blok veličine 2m x 2m (ovde je m ceo broj od 4 do 128) ili se može dobiti blok veličine m x m (ovde je m ceo broj od 8 do 128). Alternativno, kada blok podržava kvadratne i pravougaone forme i ima isti opseg kao što je gore opisano, blok veličine 2<m>x 2<n>(ovde su m i n celi brojevi od 3 do 8; kada se pretpostavlja da je maksimalni odnos širina/visina 2:1, 8 x 8, 8 x 16, 16 x 8, 16 x 16, 16 x 32, 32 x 16 , 32 x 32, 32 x 64, 64 x 32, 64 x 64, 64 x 128, 128 x 64, 128 x 128, 128 x 256, 256 x 128, 256 x 256, ne mora biti ograničenje u odnosu, ili može biti prisutan maksimalni odnos širine i visine u zavisnosti od podešavanja kodiranja/dekodiranja). Alternativno, blok veličine 2m x 2n (ovde su m i n celi brojevi od 4 do 128) može se dobiti. Alternativno, može se dobiti blok veličine m x n (ovde su m i n celi brojevi od 8 do 256).
[0557] Blokovi koji se mogu dobiti mogu se odrediti u skladu sa postavkama kodiranja/dekodiranja (npr. tip bloka, shema particionisanja, postavka particionisanja, itd.). Na primer, blok veličine 2<m>x 2<n>se može dobiti kao blok za kodiranje, blok veličine 2m x 2n ili m x n može se dobiti kao blok za predviđanje, a blok veličine 2<m>x 2<n>može se dobiti kao transformacioni blok. Informacije u vezi sa veličinom i opsegom blokova (npr. informacije koje se odnose na eksponent i višekratnik) mogu se generisati na osnovu podešavanja.
[0558] Opseg (ovde, koji se određuje korišćenjem maksimalne i minimalne vrednosti) može se odrediti u zavisnosti od tipa bloka. Takođe, neki blokovi mogu imati eksplicitno generisane informacije o opsegu bloka, a drugi blokovi mogu imati implicitno određene informacije o opsegu bloka. Na primer, blok kodiranja i blok transformacije mogu imati eksplicitno generisane povezane informacije, a blok za predikciju može imati povezane informacije implicitno obrađene.
[0559] U eksplicitnom slučaju, može se generisati najmanje jedna informacija o opsegu. Na primer, informacije o opsegu bloka kodiranja mogu da se generišu kao informacije koje se odnose na maksimalnu vrednost i minimalnu vrednost. Alternativno, informacije o opsegu mogu da se generišu na osnovu razlike (npr. koja se generiše na osnovu podešavanja; informacije o razlici indeksa između minimalne vrednosti i maksimalne vrednosti, itd.) između unapred određene minimalne vrednosti (npr. osam) i maksimalne vrednosti. Takođe, može se generisati više delova informacija o opsegu za širinu i visinu pravougaonog bloka.
[0560] U implicitnom slučaju, informacije o opsegu mogu da se dobiju na osnovu podešavanja kodiranja/dekodiranja (npr. tip bloka, shema particionisanja, podešavanje particionisanja, itd.). Na primer, za blok predikcije, blok kodiranja (ovde, koji ima maksimalnu veličinu od M x N i minimalnu veličinu od m x n), koji je gornja jedinica, može da dobije informacije o maksimalnoj vrednosti i minimalnoj vrednosti prema na grupu kandidata (ovde, M x N i m/2 x n/2) koja se može dobiti iz podešavanja particionisanja (ovde, particionisanje četvorostrukog stabla dubina particionisanja 0) bloka za predviđanje.
[0561] Veličina i oblik inicijalnog (ili početnog) bloka dela za particionisanje bloka može se odrediti iz njegove gornje jedinice. Početni blok bloka kodiranja može biti unapred zadati blok kodiranja dobijen iz dela za particionisanje slike, početni blok bloka za predikciju može biti blok kodiranja, a početni blok bloka transformacije može biti blok kodiranja ili blok predikcije, koji se može odrediti prema podešavanjima kodiranja/dekodiranja. Na primer, blok predikcije je gornja jedinica bloka transformacije kada je režim kodiranja intra režim, a blok predikcije je jedinica koja je nezavisna od bloka transformacije kada je režim kodiranja inter režim. Početni blok, koji je početni blok za particionisanje, može se podeliti na male blokove. Kada se odrede optimalna veličina i oblik koji odgovaraju blokovnoj particiji, blok se može odrediti kao početni blok niže jedinice. Na primer, prvi slučaj može odgovarati bloku kodiranja, a drugi slučaj (niža jedinica) može odgovarati bloku predikcije ili bloku transformacije. Kao što je gore opisano, kada se odredi početni blok donje jedinice, može se izvršiti proces podele na particije za pronalaženje bloka optimalne veličine i oblika.
[0562] Ukratko, deo za particionisanje blokova može da podeli podrazumevanu jedinicu kodiranja (ili maksimalnu jedinicu kodiranja) na najmanje jednu jedinicu kodiranja (ili nižu jedinicu kodiranja). Takođe, jedinica kodiranja može biti podeljena na najmanje jednu jedinicu za predikciju i takođe može biti podeljena na najmanje jednu jedinicu transformacije. Jedinica kodiranja može biti podeljena na najmanje jedan blok kodiranja, a blok kodiranja može biti podeljen na najmanje jedan blok za predikciju i, takođe, može biti podeljen na najmanje jedan blok transformacije. Takođe, jedinica za predikciju može biti podeljena na najmanje jedan blok za predviđanje, a jedinica transformacije može biti podeljena na najmanje jedan blok transformacije.
[0563] Kada se blok optimalne veličine i oblika pronađe kroz proces određivanja režima kao što je gore opisano, mogu se generisati informacije o režimu koje se odnose na blok (npr. informacije o particionisanju, itd.). Informacija o režimu se može dodati u tok bitova pored informacija generisanih u jedinici konstrukcije kojoj blok pripada (npr. informacije u vezi sa predviđanjem i informacije u vezi sa transformacijom) i zatim preneti u dekoder. Informacije o režimu mogu biti raščlanjene od strane dekodera na jedinicama istog nivoa i zatim korišćene tokom procesa dekodiranja slike.
[0564] Sledeći primer će opisati shemu particionisanja i pretpostaviti da početni blok ima oblik kvadrata. Međutim, iste ili slične primene mogu biti moguće za pravougaone oblike.
[0565] Deo za particionisanje blokova može podržavati različite sheme particionisanja. Na primer, deo za particionisanje blokova može da podržava particionisanje zasnovano na stablu ili particionisanje zasnovano na tipu, a na njega se mogu primeniti i drugi postupci. Particionisanje zasnovano na stablu može da generiše informacije o particionisanju sa zastavicama za particionisanje, a particionisanje zasnovano na tipu može da generiše informacije o particionisanju sa informacijama o indeksu za blok forme uključene u unapred određenu grupu kandidata.
[0566] Sl.29 je primer dijagrama koji prikazuje blok formu zasnovanu na stablu.
[0567] Deo 29A prikazuje jedan blok 2N x 2N koji nije particionisan, deo 29B prikazuje primer u kojem se dva 2N x N bloka dobijaju kroz neke zastavice za particionisanje (ovde, horizontalno particionisanje zasnovano na binarnom stablu), deo 29C prikazuje primer u kojem dva N x 2N bloka se dobijaju kroz neke zastavice za particionisanje (ovde, vertikalno particionisanje zasnovano na binarnom stablu), a deo 29D pokazuje primer u kojem se četiri N x N bloka dobijaju kroz neke zastavice za particionisanje (ovde, particionisanje na četiri stabla ili horizontalno i vertikalno razdvajanje binarnog stabla). Stečena blok forma se može odrediti prema tipu stabla korišćenog za particionisanje. Na primer, kada se izvrši particionisanje četvorostrukog stabla, blokovi kandidata koji se mogu dobiti mogu odgovarati delovima 29A i 29D. Kada se izvrši particionisanje binarnog stabla, blokovi kandidata koji se mogu dobiti mogu odgovarati delovima 29A, 29B, 29C i 29D. Četvorostruko stablo podržava jednu zastavicu za particionisanje. Zastavica koja je „0” može dobiti deo 29A, a zastavica „1” može dobiti deo 29D. Binarno stablo podržava veći broj zastavica za particionisanje. Među zastavicama za particionisanje, jedna zastavica za particionisanje može biti zastavica koja označava da li je particionisanje izvršeno, druga zastavica za particionisanje može biti zastavica koja pokazuje da li je particionisanje horizontalno ili vertikalno, a još jedna zastavica particije može biti zastavica koja pokazuje da li treba dozvoliti preklapanje horizontalnog/vertikalnog particionisanja. Kada je preklapanje dozvoljeno, blokovi kandidata koji se mogu dobiti mogu odgovarati delovima 29A, 29B, 29C i 29D. Kada preklapanje nije dozvoljeno, blokovi kandidata koji se mogu dobiti mogu odgovarati delovima 29A, 29B i 29C. Četvorostruko stablo može biti podrazumevana shema particionisanja zasnovana na stablu, a dodatna shema particionisanja stabla (ovde, binarno stablo) može biti uključena u shemu particionisanja zasnovanu na stablu. Kada je implicitno ili eksplicitno aktivirana zastavica koja dozvoljava dodatno particionisanje stabla, može se izvršiti više operacija particionisanja stabla. Particionisanje zasnovano na stablu može dozvoliti rekurzivnu particiju. Odnosno, particionisani blok se može ponovo postaviti kao početni blok i može se izvršiti particionisanje zasnovano na stablu, koje se može odrediti prema podešavanjima particionisanja kao što su opseg particionisanja, dozvoljena dubina particionisanja, itd. Ovo može biti primer hijerarhijske sheme particionisanja.
[0568] Sl.30 je primer dijagrama koji prikazuje blok formu zasnovanu na tipu.
[0569] Uz upućivanje na Sl. 30, blok nakon particionisanja zasnovanog na tipu može imati 1-particioni oblik (ovde, deo 30A), 2-particioni oblik (ovde, delovi 30B, 30C, 30D, 30E, 30F i 30G) i 4- particioni oblik (ovde, deo 30H). Kandidati se mogu konstruisati kroz različite konstrukcije. Na primer, kandidati se mogu konstruisati kao a, b, c i n; a, b do g i n; ili a, n i q sa Sl.31. Međutim, predmetni pronalazak nije ograničen na to i mogu biti moguće različite modifikacije, uključujući sledeći primer. Blokovi podržani kada je aktivirana zastavica koja dozvoljava simetričnu particiju mogu odgovarati delovima 30A, 30B, 30C i 30H, a blokovi podržani kada je aktivirana zastavica koja dozvoljava asimetričnu particiju mogu odgovarati svim delovima 30A do 30H. U prvom slučaju, povezane informacije (ovde, zastavica koja dozvoljava simetričnu particiju) mogu biti implicitno aktivirane. U poslednjem slučaju, povezane informacije (ovde, zastavica koja dozvoljava asimetričnu particiju) mogu biti eksplicitno generisana. Particionisanje zasnovano na stablu može podržavati jednokratno particionisanje. U poređenju sa particionisanjem zasnovanim na stablu, blok dobijen particionisanjem zasnovanim na tipu možda više neće biti dalje particionisan. Ovo može biti primer u kojem je dozvoljena dubina particionisanja 0.
[0570] Slika 31 je primer dijagrama koji prikazuje različite tipove blokova koji se mogu dobiti pomoću dela za particionisanje blokova predmetnog pronalaska.
[0571] Uz upućivanje na Sl. 31, blokovi u delovima 31A do 31S se mogu dobiti u skladu sa postavkama particionisanja i shemama particionisanja, a dodatni oblici blokova koji nisu prikazani takođe mogu biti mogući.
[0572] Kao primer, asimetrična particija može biti dozvoljena za particionisanje zasnovano na stablu. Na primer, binarno stablo može dozvoliti blokove prikazane u delovima 31B i 31C (ovde, particionisanje na više blokova) ili može dozvoliti blokove prikazane u delovima 30B do 31G (ovde, particionisanje na više blokova). Kada je zastavica koja dozvoljava asimetričnu particiju eksplicitno ili implicitno deaktivirana u skladu sa postavkama kodiranja/dekodiranja, blokovi kandidata za preuzimanje mogu biti blokovi u delu 31B ili 31C (ovde, pod pretpostavkom da nije dozvoljeno preklapanje horizontalne particije i vertikalne particije). Kada je aktivirana zastavica koja dozvoljava asimetričnu particiju, blokovi kandidata za preuzimanje mogu biti blokovi u delovima 31B, 31D i 31E (ovde, horizontalno particionisanje) ili blokovi u delovima 31C, 31F i 31G (ovde, vertikalno particionisanje). Ovaj primer može odgovarati slučaju u kojem je smer particionisanja određen horizontalnom ili vertikalnom zastavicom za particionisanje, a oblik bloka je određen prema zastavici koja dozvoljava asimetriju. Međutim, predmetni pronalazak nije ograničen na to i mogu se izvršiti modifikacije.
[0573] Kao primer, dodatno particionisanje stabla može biti dozvoljeno za particionisanje zasnovano na stablu. Na primer, trostruko particionisanje zasnovano na stablu, particionisanje četvorostrukog stabla, particionisanje zasnovano na osmostrukom stablu i slično može biti dozvoljeno, i tako se može dobiti n blokova particionisanja (ovde, 3, 4 i 8; n je ceo broj). Blokovi podržani za particionisanje zasnovano na trostrukom stablu mogu biti blokovi u sekcijama 31H do 31M, blokovi podržani za particionisanje zasnovano na četvorostrukom stablu mogu biti blokovi u sekcijama 31N do 31Q, a blokovi podržani za particionisanje zasnovano na osmostrukom stablu mogu biti blokovi u sekciji 31Q. Da li se podržava particionisanje zasnovano na stablu može se implicitno odrediti u skladu sa postavkama kodiranja/dekodiranja, a povezane informacije mogu biti eksplicitno generisane. Takođe, particionisanje binarnog stabla i particionisanje četvorostrukog stabla mogu se koristiti samo ili u kombinaciji u zavisnosti od podešavanja kodiranja/dekodiranja. Na primer, blokovi prikazani u delovima 31B i 31C mogu biti mogući za binarno stablo, a blokovi kao što je prikazano u delovima 31B, 31C, 311 i 31L mogu biti mogući kada se binarno stablo i trostruko stablo koriste u kombinaciji. Kada je drugačija od postojećih zastavica, zastavica koja dozvoljava dodatno particionisanje je eksplicitno ili implicitno deaktivirana u skladu sa postavkama kodiranja/dekodiranja, blokovi kandidata za preuzimanje mogu biti blokovi u delu 31B ili 31C. Kada je aktivirana zastavica za omogućavanje dodatnog particionisanja, blokovi kandidati za preuzimanje mogu biti blokovi u delovima 31B i 31I ili u delovima 31B, 31H, 31I i 31J (ovde, horizontalno particionisanje) ili blokovi u sekciji 31C ili 31L ili u 31C, 31K, 31L i 31M (ovde, vertikalno particionisanje). Ovaj primer može odgovarati slučaju u kojem je smer particionisanja određen horizontalnom ili vertikalnom zastavicom za particionisanje, a oblik bloka je određen u skladu sa zastavicom koja omogućava dodatno particionisanje. Međutim, predmetni pronalazak nije ograničen na to i mogu se izvršiti modifikacije.
[0574] Kao primer, nepravougaona particija može biti dozvoljena za blok zasnovan na tipu. Na primer, particionisanje kao što je prikazano u delovima 31R i 31S može biti moguće. Kada se blok kombinuje sa kandidatima za blokove zasnovane na tipu, mogu biti podržani blokovi delova 31A, 31B, 31C, 31H, 31R i 31S ili delova 31A do 31H, 31R i 31S. Takođe, blok koji podržava nparticionisanje (npr. n je ceo broj; ovde 3 osim 1, 2 i 4) kao što je prikazano u delovima 31H do 31M može biti uključen u grupu kandidata.
[0575] Shema particionisanja se može odrediti prema postavkama kodiranja/dekodiranja.
[0576] Kao primer, shema particionisanja može biti određena prema tipu bloka. Na primer, blok kodiranja i blok transformacije mogu da koriste particionisanje zasnovano na stablu, a blok za predikciju može da koristi particionisanje zasnovano na tipu. Alternativno, shema particionisanja se može koristiti u njihovoj kombinaciji. Na primer, blok za predikciju može da koristi shemu particionisanja dobijenu korišćenjem particionisanja zasnovanog na stablu i particionisanja zasnovanog na tipu u kombinaciji, a shema particionisanja koja se primenjuje može se razlikovati u zavisnosti od najmanje jednog opsega bloka.
[0577] Kao primer, shema particionisanja može biti određena prema veličini bloka. Na primer, particionisanje zasnovano na stablu može se primeniti na određeni opseg (npr. od a x b do c x d; kada je poslednje veće) između minimalne i maksimalne vrednosti bloka, i na osnovu tipa particionisanje se može primeniti na drugi specifični opseg (npr. od e x f do g x h). U ovom slučaju, informacije o opsegu prema shemi particionisanja mogu biti eksplicitno generisane ili implicitno određene.
[0578] Kao primer, shema particionisanja može biti određena prema obliku bloka (ili bloka pre particionisanja). Na primer, kada blok ima kvadratni oblik, particionisanje zasnovano na stablu i particionisanje zasnovano na tipu može biti moguće. Alternativno, kada blok ima pravougaoni oblik, particionisanje na osnovu stabla može biti moguće.
[0579] Podešavanja particionisanja se mogu odrediti u skladu sa postavkama kodiranja/dekodiranja.
[0580] Na primer, podešavanja particionisanja mogu biti određena prema tipu bloka. Na primer, za particionisanje zasnovano na stablu, blok kodiranja i blok za predikciju mogu da koriste particionisanje četvorostrukog stabla, a blok transformacije može koristiti particionisanje binarnog stabla. Alternativno, dozvoljena dubina particionisanja bloka kodiranja može biti postavljena na m, dozvoljena dubina particionisanja bloka za predikciju može biti postavljena na n, a dozvoljena dubina particionisanja bloka transformacije može biti postavljena na o. Ovde m, n i o mogu ili ne moraju biti isti.
[0581] Kao primer, podešavanja particionisanja mogu biti određena prema veličini bloka. Na primer, particionisanje četvorostrukog stabla može da se primeni na određeni opseg bloka (npr. od a x b do c x d), a particionisanje binarnog stabla može da se primeni na drugi specifični opseg (npr. od e x f do g x h, pretpostavlja se da je c x d veće od g x h); U ovom slučaju, opseg može da uključuje sve opsege između maksimalne i minimalne vrednosti bloka, a opsezi se mogu podesiti da se preklapaju jedan sa drugim ili da se ne preklapaju. Na primer, minimalna vrednost određenog opsega može biti jednaka maksimalnoj vrednosti drugog specifičnog opsega, ili minimalna vrednost određenog opsega može biti manja od maksimalne vrednosti drugog specifičnog opsega. Kada postoji opseg koji se preklapa, shema particionisanja sa većom maksimalnom vrednošću može imati veći prioritet. Odnosno, da li da se izvrši shema particionisanja sa nižim prioritetom može se odrediti prema rezultatu particionisanja u šemi particionisanja sa višim prioritetom. U ovom slučaju, informacije o opsegu prema tipu stabla mogu biti eksplicitno generisane ili implicitno određene.
[0582] Kao drugi primer, particionisanje zasnovano na tipu sa specifičnom grupom kandidata može se primeniti na određeni opseg bloka (što je isto kao u gornjem primeru), a particionisanje zasnovano na tipu sa specifičnom grupom kandidata (koja ima najmanje jednu različitu konfiguraciju od prethodne grupe kandidata) može se primeniti na određeni opseg (što je isto kao u gornjem primeru). U ovom slučaju, opseg može da uključuje sve opsege između maksimalne i minimalne vrednosti bloka, a opsezi se mogu postaviti tako da se ne preklapaju.
[0583] Kao primer, podešavanja particionisanja mogu biti određena prema obliku bloka. Na primer, blok ima kvadratni oblik, particionisanje četvorostrukog stabla može biti moguće. Alternativno, kada blok ima pravougaoni oblik, particionisanje binarnog stabla može biti moguće.
[0584] Kao primer, podešavanja particionisanja mogu da se odrede u skladu sa informacijama o kodiranju/dekodiranju (npr. tip isečka, komponenta boje, režim kodiranja, itd.). Na primer, particionisanje četvorostrukog stabla (ili particionisanje binarnog stabla) može biti moguće za određeni opseg (npr. od a x b do c x d) kada je tip isečka može biti moguće za određeni opseg (npr. od e x f do g x h) kada je tip isečka „P”, a može biti moguć za određeni opseg (npr. od i x j do k x 1) kada je tip isečka „B. „ Takođe, dozvoljena dubina particionisanja kod particionisanja četvorostrukog stabla (ili binarnog stabla) može se postaviti na m kada je tip isečka „I”, može se postaviti na n kada je tip isečka „P” i može se postaviti na o kada je tip isečka „B”. Ovde m, n i o mogu, ali i ne moraju biti isti jedno kao drugo. Neki tipovi isečaka mogu imati ista podešavanja kao i drugi isečci (npr. isečak „P” i isečak „B”).
[0585] Kao drugi primer, dozvoljena dubina particionisanja četvorostrukog stabla (ili binarnog stabla) može se postaviti na m kada je komponenta boje komponenta osvetljenosti i može se postaviti na n kada je komponenta boje komponenta hrominanse. Ovde m i n mogu ili ne moraju biti isto. Takođe, opseg (npr. od a x b do c x d) particionisanja četvorostrukog stabla (ili binarnog stabla) kada je komponenta boje komponenta osvetljenosti i opseg (npr. od e x f do g x h ) particionisanja četvorostrukog stabla (ili binarnog stabla) kada je komponenta boje komponenta hrominanse mogu ili ne moraju biti isti.
[0586] Kao drugi primer, dozvoljena dubina particionisanja četvorostrukog stabla (ili binarnog stabla) može biti m kada je režim kodiranja intra režim, i može biti n kada je režim kodiranja inter režim (ovde se pretpostavlja da je n veće od m). Ovde m i n mogu ili ne moraju biti isto. Takođe, opseg particionisanja četvorostrukog stabla (ili binarnog stabla) kada je režim kodiranja intra režim i opseg particionisanja četvorostrukog stabla (ili binarnog stabla) kada je režim kodiranja inter režim mogu ili ne moraju biti isti.
[0587] Za gornji primer, informacije o tome da li se adaptivno podržavaju elementi grupe kandidata za particionisanje mogu se eksplicitno generisati ili implicitno odrediti prema informacijama kodiranja/dekodiranja.
[0588] Slučaj u kojem se shema particionisanja i postavke particionisanja određuju prema postavkama kodiranja/dekodiranja opisan je kroz gornji primer. Gornji primer može pokazati neke slučajeve za svaki element, a modifikacije se mogu izvršiti u drugim slučajevima. Takođe, shema particionisanja i podešavanja particionisanja mogu se odrediti u skladu sa kombinacijom više elemenata. Na primer, shema particionisanja i podešavanja particionisanja mogu biti određene tipom bloka, veličinom bloka, oblikom bloka, informacijama o kodiranju/dekodiranju itd.
[0589] Takođe, u gornjem primeru, elementi uključeni u shemu particionisanja, podešavanja itd. mogu biti implicitno određeni i informacije mogu biti eksplicitno generisane da bi se odredilo da li da se dozvoli adaptivni slučaj kao što je gornji primer.
[0590] Među postavkama particionisanja, dubina particionisanja se odnosi na broj puta koji je početni blok prostorno particioniran (ovde je dubina particionisanja početnog bloka 0). Kako se dubina particionisanja povećava, veličina blokova na koje se deli početni blok može da se smanji. Dakle, podešavanja u vezi sa dubinom mogu se razlikovati u zavisnosti od sheme particionisanja. Na primer, jedna zajednička dubina se može koristiti za dubinu particionisanja četvorostrukog stabla i dubinu particionisanja binarnog stabla među shemama particionisanja zasnovanim na stablu, dubina se može koristiti pojedinačno u zavisnosti od tipa stabla.
[0591] Kada se u gornjem primeru dubina particionisanja koristi pojedinačno prema tipu stabla, dubina particionisanja na početnoj poziciji stabla (ovde blok pre particionisanja) može da se podesi na 0. Dubina particionisanja se može izračunati ne na osnovu opsega particionisanja (ovde, maksimalne vrednosti) svakog opsega, već fokusirajući se na početnu poziciju particionisanja.
[0592] Sl. 32 je primer dijagrama koji prikazuje particionisanje zasnovano na stablu prema realizaciji predmetnog pronalaska.
[0593] Deo 32A pokazuje primere particionisanja četvorostrukog stabla i binarnog stabla. Preciznije, u delu 32A, gornji levi blok prikazuje primer particionisanja četvorostrukog stabla, gornji desni i donji levi blok prikazuju primer particionisanja četvorostrukog stabla i binarnog stabla, a donji desni blok prikazuje primer particionisanja binarnog stabla. Na crtežima puna linija (ovde Quad1) predstavlja graničnu liniju za particionisanje četvorostrukog stabla, isprekidana linija (ovde Binary1) predstavlja graničnu liniju za particionisanje binarnog stabla, a debela puna linija predstavlja graničnu liniju za particionisanje binarnog stabla. Razlika između isprekidane i pune linije može ukazivati na razliku u shemi podele.
[0594] Kao primer, (pod pretpostavkom sledećih uslova: gornji levi blok ima dozvoljenu dubinu particionisanja četvorostrukog stabla od 3; kada je trenutni blok N x N, particionisanje se vrši sve dok jedna od širine i visine ne dostigne N»3, informacije o particionisanju se generišu sve dok jedna od širine i visine ne dostigne N»2, ovo se primenjuje kao zajedničko za sledeći primer, a maksimalna i minimalna vrednost četvorostrukog stabla su N x N, (N>>3) x (N>>3)), gornji levi blok se može podeliti na četiri bloka sa pola širine i pola visine kada se izvrši particionisanje četvorostrukog stabla. Oznaka za particionisanje može imati vrednost 1 kada je particionisanje aktivirano i može imati vrednost 0 kada je particionisanje deaktivirano. U skladu sa gornjim podešavanjem, zastavica za particionisanje gornjeg levog bloka može biti generisana kao gornji levi blok u delu 32B.
[0595] Kao primer, (pod pretpostavkom sledećih uslova: gornji desni blok ima dozvoljenu dubinu particionisanja četvorostrukog stabla od 0 i dozvoljenu dubinu particionisanja binarnog stabla od 4; maksimalna vrednost i minimalna vrednost particionisanja četvorostrukog stabla su N x N, (N>>2) x (N>>2), a maksimalna i minimalna vrednost particionisanja binarnog stabla su (N>>1) x (N>>1), (N>>3) x (N>>3)), gornji desni blok se može podeliti na četiri bloka sa pola širine i pola visine kada se particionisanje četvorostrukog stabla izvrši na početnom bloku. Veličina particionisanog bloka je (N>>1) x (N>>1), a particionisanje binarnog stabla (ovde particionisanje binarnog stabla može biti veće od minimalne vrednosti particionisanja četvorostrukog stabla, ali dozvoljena dubina particionisanja je ograničena) može biti moguće prema podešavanjima ovog primera. Odnosno, ovaj primer može biti primer u kojem nije moguće koristiti particionisanje četvorostrukog stabla i particionisanje binarnog stabla u kombinaciji. U ovom primeru, informacije o particionisanju binarnog stabla mogu biti sastavljene od više zastavica za particionisanje. Neke zastavice mogu biti zastavice horizontalne particije (ovde, koje odgovaraju x u x/y), a druge zastavice mogu biti zastavice vertikalne particije (ovde, koje odgovaraju y u x/y). Konfiguracija zastavice za particionisanje može imati slična podešavanja kao kod particionisanja četvorostrukog stabla. U ovom primeru, obe od dve zastave mogu biti aktivirane. Na crtežima, kada se informacija o zastavici generiše sa može odgovarati implicitnoj obradi zastavica koja se može generisati kada dodatno particionisanje nije moguće u skladu sa uslovima kao što su maksimalna vrednost, minimalna vrednost i dozvoljena dubina particionisanja prema particionisanju zasnovanom na stablu. U skladu sa gornjim podešavanjem, zastavica za particionisanje gornjeg desnog bloka može se generisati kao gornji desni blok u delu 32B.
[0596] Kao primer, (pod pretpostavkom sledećih uslova: donji levi blok ima dozvoljenu dubinu particionisanja četvorostrukog stabla od 3 i dozvoljenu dubinu particionisanja binarnog stabla od 2; maksimalna vrednost i minimalna vrednost particionisanja četvorostrukog stabla su N x N, (N>>3) x (N>>3), a maksimalna vrednost i minimalna vrednost podele binarnog stabla su (N>>2) x (N>>2), (N>> 4) x (N>>4)), donji levi blok se može podeliti na četiri bloka sa pola širine i pola visine kada se particionisanje četvorostrukog stabla izvrši na početnom bloku. Veličina particioniranog bloka je (N>>1) x (N>>1), a particionisanje četvorostrukog stabla i particionisanje binarnog stabla mogu biti moguće prema postavkama ovog primera. Odnosno, ovaj primer može biti primer u kojem je moguće koristiti particionisanje četvorostrukog stabla i particionisanje binarnog stabla u kombinaciji. U ovom slučaju, da li da se izvrši particionisanje binarnog stabla može se odrediti prema rezultatu particionisanja četvorostrukog stabla kome je dodeljen viši prioritet. Particionisanje binarnog stabla se ne može izvršiti kada se izvrši particionisanje četvorostrukog stabla, a particionisanje binarnog stabla se može izvršiti kada se particionisanje četvorostrukog stabla ne vrši. Kada se particionisanje četvorostrukog stabla ne izvrši, particionisanje četvorostrukog stabla možda više neće biti moguće iako je particionisanje moguće prema podešavanjima. U ovom primeru, informacije o particionisanju binarnog stabla mogu biti sastavljene od više zastavica za particionisanje. Neke zastavice mogu biti zastavice za particionisanje (ovde, koje odgovaraju x u x/y), a druge zastavice mogu biti zastavice pravca particionisanja (ovde, koje odgovaraju y u x/y; da li da se generiše i informacija može se odrediti prema x), i zastavice za particionisanje mogu imati slična podešavanja kao kod particionisanja četvorostrukog stabla. U ovom slučaju, ne mogu se aktivirati sva horizontalna i vertikalna particionisanja. Na crtežu, kada se informacija o zastavici generiše sa može imati slična podešavanja kao u gornjem primeru. U skladu sa gornjim podešavanjem, zastavica za particionisanje donjeg levog bloka može se generisati kao donji levi blok u delu 32B.
[0597] Kao primer, (pod pretpostavkom sledećih uslova: donji desni blok ima dozvoljenu dubinu particionisanja binarnog stabla od 5; a maksimalna vrednost i minimalna vrednost particionisanja binarnog stabla su N x N, (N>>2) x (N>>3)), donji desni blok može biti podeljen na dva bloka sa pola širine ili pola visine kada se particionisanje binarnog stabla vrši na početnom bloku. U ovom primeru, donji desni blok može imati ista podešavanja zastavice za particionisanje kao i donji levi blok. Na crtežu, kada se informacija o zastavici generiše sa može imati slična podešavanja kao u gornjem primeru. U ovom primeru, minimalne vrednosti širine i visine binarnog stabla mogu biti postavljene na različite vrednosti. U skladu sa gornjim podešavanjem, zastavica za particionisanje donjeg desnog bloka može biti generisana kao donji desni blok u delu 32B.
[0598] Kao u gornjem primeru, informacije o bloku (npr. tip bloka, veličina bloka, oblik bloka, lokacija bloka, tip bloka, komponenta boje, itd.) mogu da se provere, a zatim se shema particionisanja i podešavanja particionisanja mogu odrediti prema informacijama o bloku. Tako se može izvršiti odgovarajući proces podele na particije.
[0599] Slika 33 je primer dijagrama koji prikazuje particionisanje zasnovano na stablu prema jednoj realizaciji predmetnog pronalaska.
[0600] Uz upućivanje na blokove u delovima 33A i 33B, debela puna linija L0 može predstavljati maksimalni blok kodiranja, a blok podeljen debelom punom linijom i drugim linijama L1 do L5 može predstavljati particionisani blok kodiranja. Broj unutar bloka može predstavljati lokaciju podbloka dobijenog particionisanjem (ovde u rasterskom redosledu skeniranja), a broj '-C može predstavljati dubinu particionisanja odgovarajućeg bloka i broj granične linije između blokova može predstavljati koliko puta je izvršeno particionisanje. Na primer, redosled može biti UL(0)-UR(1)-DL(2)-DR(3) kada je blok 4-particionisan (ovde, četvorostruko stablo) i može biti L ili U(O) - R ili D(1) kada je blok 2-particionisan (ovde, binarno stablo), što se može definisati za svaku dubinu particionisanja. Sledeći primer pokazuje slučaj u kome je blok kodiranja koji se može dobiti ograničen.
[0601] Kao primer, pretpostavlja se da je u delu 33A, maksimalni blok kodiranja 64 x 64, minimalni blok kodiranja je 16 x 16, a koristi se particionisanje četvorostrukog stabla. U ovom slučaju, pošto blokovi 2-0, 2-1 i 2-2 (ovde, 16 x 16) imaju istu veličinu kao i minimalni blok kodiranja, blokovi ne mogu biti particionisani na manje blokove kao što su blokovi 2-3 -0, 2-3-1, 2-3-2 i 2-3-3 (ovde, 8 x 8). U ovom slučaju, blok koji se može dobiti iz blokova 2-0, 2-1, 2-2 i 2-3 može biti blok 16 x 16. Drugim rečima, pošto postoji samo jedan blok kandidat, informacije o particionisanju bloka se ne generišu.
[0602] Kao primer, pretpostavlja se da je u delu 33B maksimalni blok kodiranja 64 x 64, a minimalni blok kodiranja ima širinu 8 ili visinu od 8 i dozvoljenu dubinu particionisanja od 3. U ovom slučaju, blok 1-0-1-1 (ovde, koji ima veličinu od 16 x 16 i dubinu particionisanja od 3) može biti podeljen na manje blokove jer je ispunjen minimalni uslov bloka kodiranja. Međutim, blok 1-0-1-1 ne može biti podeljen na blokove sa većom dubinom particionisanja (ovde blok 1-0-1-0-0 i blok 1-0-1-0-1) jer blok 1-0-1-1 ima istu dozvoljenu dubinu particionisanja. U ovom slučaju, blok koji se može dobiti iz blokova 1-0-1-0 i 1-0-1-1 može biti blok 16 x 8. Drugim rečima, pošto postoji samo jedan blok kandidat, informacije o particionisanju bloka se ne generišu.
[0603] Kao u gornjem primeru, particionisanje četvorostrukog stabla ili particionisanje binarnog stabla može biti podržano u zavisnosti od podešavanja kodiranja/dekodiranja. Alternativno, particionisanje četvorostrukog stabla i particionisanje binarnog stabla može biti podržano u kombinaciji. Na primer, jedna ili kombinacija shema može biti podržana u skladu sa veličinom bloka, dubinom bloka, itd. Particionisanje četvorostrukog stabla može biti podržano kada blok pripada opsegu prvog bloka, a particionisanje binarnog stabla može biti podržano kada blok pripada drugom opsegu blokova. Kada je podržan veći broj shema particionisanja, najmanje jedno podešavanje kao što je maksimalna veličina bloka kodiranja, minimalna veličina bloka kodiranja, dozvoljena dubina particionisanja i slično može biti obezbeđeno prema svakoj shemi. Opsezi se mogu ili ne moraju međusobno preklapati. Alternativno, bilo koji opseg može biti podešen da uključuje drugi opseg. Podešavanje se može odrediti prema pojedinačnim ili kombinovanim elementima kao što su tip preseka, režim kodiranja, komponenta boje i slično.
[0604] Na primer, podešavanja particionisanja mogu biti određena prema tipu isečka. Podešavanja particionisanja podržana za I-isečak mogu podržavati particionisanje u opsegu od 128 x 128 do 32 x 32 za četvorostruko stablo i mogu podržavati particionisanje u opsegu od 32 x 32 do 8 x 8 za binarno stablo. Podešavanja blokova particionisanja podržana za P/B-isečak mogu da podržavaju particionisanje u opsegu od 128 x 128 do 32 x 32 za četvorostruko stablo i mogu da podržavaju particionisanje u opsegu od 64 x 64 do 8 x 8 za binarno stablo.
[0605] Na primer, podešavanja particionisanja mogu da se odrede prema režimu kodiranja. Podešavanja particionisanja podržana kada je režim kodiranja intra režim mogu da podržavaju particionisanje u opsegu od 64 x 64 do 8 x 8 i imaju dozvoljenu dubinu particionisanja od 2 za binarno stablo. Podešavanja particionisanja podržana kada je režim kodiranja inter režim mogu da podržavaju particionisanje u opsegu od 32 x 32 do 8 x 8 i imaju dozvoljenu dubinu particionisanja od 3 za binarno stablo.
[0606] Na primer, podešavanja za particionisanje mogu se odrediti prema komponenti boje. Podešavanja particionisanja kada je komponenta boje komponenta osvetljenosti mogu podržavati particionisanje u opsegu od 256 x 256 do 64 x 64 za četvorostruko stablo i mogu podržavati particionisanje u opsegu od 64 x 64 do 16 x 16 za binarno stablo. Podešavanja particionisanja kada je komponenta boje komponenta hrominanse mogu da podržavaju ista podešavanja (ovde, podešavanja u kojima je dužina svakog bloka proporcionalna formatu boje) kao ona kod komponente osvetljenja za četvorostruko drvo i mogu da podržavaju particionisanje u opsegu (ovde je isti opseg za komponentu osvetljenosti od 128 x 128 do 8 x 8; pretpostavlja se 4:2:0) od 64 x 64 do 4 x 4 za binarno stablo.
[0607] Prema gornjem primeru, primenjuju se različite postavke particionisanja u zavisnosti od tipa bloka. Takođe, neki blokovi se mogu kombinovati sa drugim blokovima, i na taj način se može izvršiti jedan proces podele na particije. Na primer, kada se blok kodiranja i blok transformacije kombinuju u jednu jedinicu, može se izvršiti proces podele na particije za dobijanje optimalne veličine i oblika bloka. Dakle, optimalna veličina i oblik bloka mogu biti optimalna veličina i oblik bloka transformacije, kao i optimalna veličina i oblik bloka za kodiranje. Alternativno, blok kodiranja i blok transformacije mogu biti kombinovani u jednu jedinicu, blok predikcije i blok transformacije mogu biti kombinovani u jednu jedinicu, ili blok kodiranja, blok predikcije i blok transformacije mogu biti kombinovani u jednu jedinicu. Takođe, moguće su i druge kombinacije blokova.
[0608] Prema predmetnom pronalasku, opisan je slučaj u kome se podešavanja particionisanja primenjuju pojedinačno na svaki blok, ali više jedinica može biti kombinovano u jednu jedinicu da bi imalo jedno podešavanje za particionisanje.
[0609] Koder može dodati informacije generisane tokom gornjeg procesa u tok bitova u jedinicama najmanje jedne od sekvenci, slika, isečaka, pločica i slično, a dekoder može raščlaniti povezane informacije iz toka bitova.
[0610] U predmetnom pronalasku, deo predikcije se može klasifikovati na intrapredikciju i interpredikciju, a intrapredikcijs i interpredikcija se mogu definisati na sledeći način.
[0611] Intrapredikcija može biti tehnologija za generisanje predviđene vrednosti iz regiona u kome je završeno kodiranje/dekodiranje trenutne slike (na primer, slika, isečak, pločica i slično), a interpredikcija može biti tehnologija za generisanje predviđene vrednosti iz najmanje jedne slike (na primer, slike, preseka, pločice i slično) u kojoj je kodiranje/dekodiranje završeno pre trenutne slike.
[0612] Alternativno, intrapredikcija može biti tehnologija za generisanje predviđene vrednosti iz regiona u kome je završeno kodiranje/dekodiranje trenutne slike, ali neki postupci predikcije (npr. postupak generisanja predviđene vrednosti iz referentne slike, podudaranje blokova, podudaranje obrazaca i slično) mogu biti isključeni. Interpredikcija može biti tehnologija za generisanje predviđene vrednosti iz najmanje jedne slike u kojoj je kodiranje/dekodiranje završeno, a slika u kojoj je kodiranje/dekodiranje završeno može biti konfigurisana da uključuje trenutnu sliku.
[0613] U skladu sa postavkama kodiranja/dekodiranja, sledi jedna od gore navedenih definicija. U sledećem primeru, opis će biti dat pod pretpostavkom da se sledi druga definicija. Dalje, predviđena vrednost se opisuje pod pretpostavkom da je to vrednost dobijena predikcijom u prostornom domenu, ali nije ograničena na to.
[0614] U nastavku će biti opisana interpredikcija dela predikcije u predmetnom pronalasku.
[0615] Interpredikcija u postupku kodiranja slike prema realizaciji predmetnog pronalaska može se konfigurisati na sledeći način. Interpredikcija dela predikcije može uključiti korak konstrukcije referentne slike, korak procene kretanja, korak kompenzacije kretanja, korak određivanja informacija o kretanju i korak kodiranja informacija o kretanju. Dalje, uređaj za kodiranje slike može biti konfigurisan da uključuje deo konstrukcije referentne slike, deo procene kretanja, deo kompenzacije kretanja, deo za određivanje informacija o kretanju i deo za kodiranje informacija o kretanju, koji izvode korak izgradnje referentne slike, korak procene kretanja, korak kompenzacije kretanja, korak određivanja informacija o kretanju i korak kodiranja informacija o kretanju, redom. Neki od gore opisanih procesa mogu biti izostavljeni, drugi procesi mogu biti dodati ili se redosled može promeniti u drugi red.
[0616] Sl. 34 je primer dijagrama koji prikazuje različite slučajeve u kojima se blok predikcije dobija putem interpredikcije.
[0617] Uz upućivanje na Sl.34, u jednosmernoj predikciji, blok predikcije (A) se može dobiti iz prethodno kodirane referentne slike (T-1 i T-2), ili se blok predikcije (B) može dobiti iz naknadno kodirane referentne slike (T+1 i T+2). U dvosmernoj predikciji, blokovi predikcije (C i D) se mogu dobiti iz više prethodno kodiranih referentnih slika (T-2 do T+2). Generalno, tip slike P može da podržava jednosmernu predikciju, a tip slike B može da podržava dvosmernu predikciju.
[0618] Kao u gornjem primeru, slika (picture) na koju se poziva u kodiranju/dekodiranju trenutne slike može se dobiti iz memorije. U odnosu na trenutnu sliku (T), lista referentnih slika može biti konstruisana na način da se uključi referentna slika pre trenutne slike i referentna slika posle trenutne slike u vremenskom redosledu ili redosledu prikaza.
[0619] Interpredikcija (E) se može izvršiti na trenutnoj slici, kao i na prethodnim ili narednim slikama u odnosu na trenutnu sliku. Izvođenje interpredikcije na trenutnoj slici može se nazvati neusmernom predikcijom. Ovo može biti podržano u tipu slike I ili u tipu slike P/B, a podržani tip slike može biti određen u skladu sa postavkama kodiranja/dekodiranja. Izvođenje interpredikcije na trenutnoj slici ima za cilj da generiše blok predikcije koristeći prostornu korelaciju i razlikuje se od izvođenja interpredikcije na drugoj slici kako bi se koristila vremenska korelacija, ali postupak predikcije (npr. referentna slika, vektor kretanja , i slično) može biti isti.
[0620] Deo konstrukcije referentne slike može konstruisati i upravljati, preko liste referentnih slika, referentnom slikom koja se koristi u kodiranju trenutne slike. Najmanje jedna lista referentnih slika može biti konstruisana u skladu sa postavkama kodiranja/dekodiranja (npr. tip slike, smer predikcije i slično), a blok za predikciju može biti generisan iz referentne slike uključene u listu referentnih slika. Na primer, u slučaju jednosmerne predikcije, interpredikcija se može izvršiti na najmanje jednoj referentnoj slici uključenoj u listu referentnih slika 0 (LO) ili listu referentnih slika 1 (L1). Dalje, u slučaju dvosmerne predikcije, interpredikcija se može izvršiti na najmanje jednoj referentnoj slici uključenoj u kombinovanu listu (LC) koja se generiše kombinovanjem L0 i L1.
[0621] Uopšteno, optimalna referentna slika za sliku koja se kodira može se odrediti pomoću kodera i može se koristiti postupak eksplicitnog prenosa informacija o referentnoj slici u dekoder. U tom cilju, deo konstrukcije referentne slike može da izvrši upravljanje listom slika na koju se upućuje u interpredikciju trenutne slike i može postaviti pravilo za upravljanje referentnom slikom uzimajući u obzir ograničenu veličinu memorije.
[0622] Prenesena informacija se može definisati kao skup referentnih slika (RPS). Slika izabrana kao RPS može biti klasifikovana u referentnu sliku i može biti sačuvana u memoriji (ili DPB). Slike koje nisu izabrane kao RPS mogu biti klasifikovane u nereferentne slike i mogu biti uklonjene iz memorije nakon unapred određenog vremena. Memorija može da skladišti unapred određeni broj slika (npr. 16 slika za HEVC), a veličina memorije se može podesiti u skladu sa nivoom i rezolucijom slike.
[0623] Sl. 35 je primer dijagrama koji prikazuje sastav liste referentnih slika prema realizaciji predmetnog pronalaska.
[0624] Uz upućivanje na Sl.35, generalno, referentne slike (T-1 i T-2) koje su prisutne pre trenutne slike mogu biti dodeljene L0, a referentne slike (T+1 i T+2) koje su prisutne posle trenutne slike mogu biti dodeljene L1 za upravljanje. U konstruisanju L0, kada se ne dostigne dozvoljeni broj referentnih slika L0, dodeljuje se referentna slika L1. Slično, pri konstruisanju L1, kada se ne dostigne dozvoljeni broj referentnih slika L1, dodeljuje se referentna slika L0.
[0625] Dalje, trenutna slika može biti uključena u najmanje jednu listu referentnih slika. Na primer, trenutna slika može biti uključena u L0 ili L1; L0 se može konstruisati dodavanjem referentne slike (ili trenutne slike) čiji je vremenski redosled T referentnoj slici pre trenutne slike; ili L1 se može konstruisati dodavanjem referentne slike čiji je vremenski redosled T za referentnu sliku posle trenutne slike.
[0626] Sastav liste referentnih slika može se odrediti prema podešavanjima kodiranja/dekodiranja. Na primer, trenutna slika možda nije uključena u listu referentnih slika ili može biti uključena u najmanje jednu listu referentnih slika, što može biti određeno signalom (ili signalom za omogućavanje postupka, kao što je podudaranje blokova u trenutnoj slici i slično) koji označava da li treba uključiti trenutnu sliku u listu referentnih slika. Signal može biti podržan u jedinicama sekvenci, slika, isečaka, pločica i slično.
[0627] Dalje, trenutna slika može biti pozicionirana na početku ili na kraju liste referentnih slika kao što je prikazano na Sl.35, a redosled rasporeda unutar liste može biti određen u zavisnosti od podešavanja kodiranja/dekodiranja (npr. informacija o tipu slike i slično). Na primer, u slučaju tipa I, trenutna slika može biti pozicionirana na početku, a u slučaju tipa P/B, trenutna slika može biti pozicionirana na kraju. Predmetni pronalazak nije ograničen na to, i mogu se obezbediti modifikacije.
[0628] Deo konstrukcije referentne slike može da uključuje deo interpolacije referentne slike. Prema preciznosti interpolacije interpredikcije, može se odrediti da li da se izvrši proces interpolacije za piksel decimalne jedinice. Na primer, kada postoji interpolaciona preciznost celobrojne jedinice, proces interpolacije referentne slike se izostavlja, a kada je interpolaciona preciznost decimalne jedinice, vrši se proces interpolacije referentne slike.
[0629] Interpolacioni fajl koji se koristi u procesu interpolacije referentne slike može se odrediti u skladu sa postavkama kodiranja/dekodiranja. Može se koristiti jedan unapred podešen interpolacioni filter {npr. interpolacioni filter zasnovan na diskretnoj kosinusnoj transformaciji (DCT-IF) i slično}, ili se može koristiti jedan od većeg broja interpolacionih filera. U prvom slučaju, informacije o izboru o interpolacionom filteru mogu biti implicitno izostavljene, a u drugom slučaju, informacije o izboru o interpolacionom filteru mogu biti uključene u jedinice sekvenci, slika, isečaka, pločica i slično.
[0630] Preciznost interpolacije se može odrediti u skladu sa postavkama kodiranja/dekodiranja i može biti preciznost od jednog između celih i decimalnih jedinica (npr.1/2, 1/4, 1/8, 1/16, 1/32 i sl.). Proces interpolacije se može izvesti u skladu sa jednom unapred podešenom preciznošću interpolacije, ili se proces interpolacije može izvesti prema jednoj preciznosti od većeg broja interpolacionih preciznosti.
[0631] Dalje, prema postupcima interpredikcije (npr. postupcima predikcije kretanja, model kretanja i slično), može biti podržana preciznost fiksne interpolacije ili preciznost adaptivne interpolacije. Na primer, preciznost interpolacije za model kretanja translacije i preciznost interpolacije za model kretanja bez translacije mogu biti iste ili različite jedna od druge, što se može odrediti prema postavkama kodiranja/dekodiranja. Informacije koje se odnose na preciznost interpolacije mogu biti implicitno određene ili eksplicitno generisane, i mogu biti uključene u jedinice sekvenci, slika, isečaka, pločica, blokova i slično.
[0632] Deo za procenu kretanja obavlja proces procene (ili traženja) sa kojim blokom sa kojom referentnom slikom trenutni blok ima visoku korelaciju. Veličina i oblik (M x N) trenutnog bloka na kojem se vrši predikcija mogu se dobiti iz dela za particionisanje bloka, a opis će biti dat pod pretpostavkom da je podrška moguća u opsegu od 4x4 do 128x128 za interpredikciju. Uopšteno govoreći, interpredikcija se vrši u jedinicama blokova predikcije, ali se takođe izvodi u jedinicama blokova kodiranja, blokova transformacije i slično prema postavci dela za particionisanje bloka. Procena se vrši u opsegu procene kretanja i može se koristiti najmanje jedan postupak procene kretanja. U postupku procene kretanja, može se definisati redosled procene, stanje jedinice piksela i slično.
[0633] Procena kretanja se može izvršiti adaptivno prema postupku predikcije kretanja. Region na kome se vrši procena kretanja može biti trenutni blok u slučaju podudaranja blokova i može biti obrazac/šablon sastavljen od delimičnog regiona bloka, koji je susedan trenutnom bloku, (npr. levi, gornji, gornji levi, gornji desni, donji levi blokovi i slično) u kojima je kodiranje završeno u slučaju podudaranja obrasca. Uparivanje blokova može biti postupak eksplicitnog generisanja informacija o kretanju, a podudaranje obrasca može biti postupak implicitnog dobijanja informacija o kretanju.
[0634] Ovde, podudaranje obrasca može biti obezbeđeno signalom koji ukazuje na podršku za dodatni postupak predikcije kretanja, a signal može biti uključen u jedinice sekvenci, slika, isečaka, pločica i slično. Dalje, opseg podudaranja pratećih obrazaca može biti ili ne mora biti isti kao opseg (npr.4x4 do 128x128) podudaranja pratećih blokova, ili može biti ograničen opseg (npr.
4x4 do 32x32). Opseg podržavajućeg podudaranja obrazaca može se odrediti u skladu sa postavkama kodiranja/dekodiranja (npr. tip slike, komponenta boje i slično). Kada se podržava veći broj postupaka predikcije pokreta, informacije o izboru postupka predikcije kretanja se generišu i uključuju u blok jedinice.
[0635] Dalje, procena kretanja se može izvršiti adaptivno prema modelu kretanja. Pored translacionog modela kretanja koji razmatra samo paralelno prevođenje, dodatni model kretanja se može koristiti za procenu kretanja i kompenzaciju. Na primer, procena kretanja i kompenzacija se mogu izvršiti korišćenjem modela kretanja koji uzima u obzir kretanja kao što su rotacija, perspektiva, uvećanje/umanjivanje i slično, pored paralelnog prevođenja. Ovo može biti podržano za poboljšanje performansi kodiranja generisanjem bloka predikcije na koji se primenjuju gore opisani različiti tipovi kretanja generisani u skladu sa regionalnim karakteristikama slike.
[0636] U predmetnom pronalasku, opis je dat pod pretpostavkom da je model afinog kretanja netranslacioni model kretanja. Međutim, predmetni pronalazak nije ograničen na to, i mogu se obezbediti modifikacije. Ovde, netranslacioni model kretanja može biti obezbeđen signalom koji ukazuje na podršku dodatnom modelu kretanja, a signal može biti uključen u jedinice sekvenci, slika, isečaka, pločica i slično. Dalje, opseg podrške netranslacionom modelu kretanja može biti ili ne mora biti isti kao opseg (npr.4x4 do 128x128) podrške modelu kretanja translacije, ili može biti ograničen opseg (npr. 4x4 do 32x32), i može se odrediti u skladu sa postavkama kodiranja/dekodiranja (npr. tip slike, komponenta boje i slično). Kada se podržava veći broj modela kretanja, informacije o izboru modela kretanja se generišu i uključuju u blok jedinice.
[0637] Slika 36 je konceptualni dijagram koji prikazuje netranslacioni model kretanja prema jednoj realizaciji predmetnog pronalaska.
[0638] Uz upućivanje na Sl. 36, u slučaju translacionog modela kretanja, informacije o kretanju su predstavljene korišćenjem vektora kretanja V0, dok u slučaju netranslacionog modela kretanja, dodatne informacije o kretanju mogu biti potrebne za vektor kretanja V0. U ovom primeru, opisan je slučaj u kojem se jedan dodatni vektor kretanja V1 koristi za predstavljanje informacija o kretanju netranslacionog modela kretanja, ali druge konfiguracije (npr. veći broj vektora kretanja, informacije o uglu rotacije, informacije o razmeri i kao) takođe mogu biti moguće.
[0639] U slučaju translacionog modela kretanja, vektori kretanja piksela uključenih u trenutni blok mogu biti isti, a isti vektori kretanja u jedinicama bloka mogu biti obezbeđeni. Jedan reprezentativni vektor kretanja (V0) se koristi za procenu kretanja i kompenzaciju.
[0640] U slučaju netranslacionog modela kretanja, vektori kretanja piksela uključenih u trenutni blok mogu da se razlikuju jedan od drugog, a mogu se obezbediti i pojedinačni vektori kretanja u jedinicama piksela. U ovom slučaju, potrebno je mnogo vektora kretanja, tako da se veći broj vektora kretanja (V0 i V1) koji predstavljaju vektore kretanja piksela uključenih u trenutni blok koristi za procenu kretanja i kompenzaciju. Odnosno, kroz veći broj vektora kretanja, mogu se izvesti (ili dobiti) vektori kretanja u jedinicama podblokova ili piksela unutar trenutnog bloka.
[0641] Na primer, vektori kretanja {u ovom primeru, (Vx, Vy)} u jedinicama podblokova i piksela unutar trenutnog bloka mogu se izvesti pomoću jednačine Vx = (V1x - V0x) x x / M - (V1y - VOy) x y / N VOx, Vy = (V1y - VOy) x x / M (V1x - VOx) x y / N VOy. U gornjoj jednačini, V0 {u ovom primeru, (VOx, V0y)} se odnosi na gornji levi vektor kretanja trenutnog bloka, a V1 {u ovom primeru, (V1x, V1y)} se odnosi na gornji desni vektor kretanja trenutnog bloka. S obzirom na složenost, procena kretanja i kompenzacija netranslacionog modela kretanja može se izvršiti u jedinicama podbloka.
[0642] Slika 37 je primer dijagrama koji prikazuje procenu kretanja u jedinicama podbloka prema jednoj realizaciji predmetnog pronalaska.
[0643] Uz upućivanje na Sl.37, vektor kretanja podbloka unutar trenutnog bloka može biti izveden iz većeg broja vektora kretanja (V0 i V1) koji predstavljaju informacije o kretanju trenutnog bloka, a procena kretanja i kompenzacija se mogu izvršiti u jedinicama podbloka. Ovde se veličina podbloka (m x n) može odrediti prema podešavanjima kodiranja/dekodiranja. Na primer, može se postaviti jedna fiksna veličina ili se može podesiti prilagodljiva veličina na osnovu veličine trenutnog bloka. Veličina podbloka može biti podržana u opsegu od 4x4 do 16x16.
[0644] Generalno, deo za procenu kretanja može biti element koji postoji u uređaju za kodiranje, ali takođe može biti element koji postoji u uređaju za dekodiranje u skladu sa postupkom predikcije (npr. podudaranje obrasca i slično). Na primer, u slučaju podudaranja obrasca, dekoder može da dobije informacije o kretanju trenutnog bloka tako što će izvršiti procenu kretanja sa obrascem pored trenutnog bloka. Ovde, informacije koje se odnose na procenu kretanja (npr. opseg procene kretanja, postupaka procene kretanja, informacije o konfiguraciji šablona i slično) mogu biti implicitno ili eksplicitno generisane i mogu biti uključene u jedinice sekvenci, slika, isečaka, pločica i sl.
[0645] Deo za kompenzaciju kretanja obavlja proces za dobijanje podataka nekih blokova nekih referentnih slika koji su određeni procesom procene kretanja, kao blok predikcije trenutnog bloka. Preciznije, na osnovu informacija o kretanju (npr. informacija o referentnoj slici, informacija o vektoru kretanja i slično) dobijenih kroz proces procene kretanja, blok predikcije trenutnog bloka može biti generisan iz najmanje jednog regiona (ili bloka) najmanje jedne referentne slike uključene u listu referentnih slika.
[0646] Deo za određivanje informacija o kretanju može da izvrši proces za izbor optimalne informacije o kretanju trenutnog bloka. Generalno, korišćenje tehnike izobličenja brzine u kojoj se izobličenje bloka (npr. izobličenje trenutnog bloka i restauriranog bloka, zbir apsolutne razlike (SAD), zbir kvadratne razlike (SSD) i slično) i ako se uzme u obzir broj bitova izazvanih informacijama o kretanju, može se odrediti optimalna informacija o kretanju u smislu gubitka kodiranja. Blok predikcije generisan na osnovu informacija o kretanju koje se određuju kroz proces može se preneti na suptraktor i na sabirač. Dalje, element može biti uključen u uređaj za dekodiranje prema nekim postupcima predikcije (npr. podudaranje obrazaca i slično), koji se mogu odrediti na osnovu izobličenja bloka.
[0647] Deo za kodiranje informacija o kretanju može da kodira informacije o kretanju trenutnog bloka dobijene kroz proces određivanja informacija o kretanju. Ovde, informacije o kretanju mogu biti sastavljene od informacija o slici i regionu koji je referenciran za blok predikcije trenutnog bloka. Preciznije, može se sastojati od informacija o slici (npr. informacija o referentnoj slici i slično) i informacija o regionu (npr. informacija o vektoru kretanja i slično).
[0648] Dalje, informacije o podešavanju koje se odnose na interpredikciju (npr. postupak predikcije kretanja, informacije o izboru modela kretanja i slično) mogu biti uključene u informacije o kretanju trenutnog bloka. Konfiguracija informacija (npr. broj vektora kretanja i slično) na referentnoj slici i regionu može se odrediti na osnovu podešavanja u vezi sa interpredikcijom.
[0649] Informacije o referentnoj slici mogu biti predstavljene listom referentnih slika, indeksom referentne slike i slično. Informacije o listi referentnih slika u upotrebi i informacije o indeksu referentne slike mogu biti kodirane. Informacije o referentnom regionu mogu biti predstavljene vektorom kretanja i slično. Vektorska apsolutna vrednost svake komponente (npr. x i y) i informacije o znaku mogu biti kodirane.
[0650] Dalje, informacije o referentnoj slici i informacije o referentnom regionu su konfigurisane kao jedna kombinacija, a informacije o kretanju mogu biti kodirane. Kombinacija informacija o referentnoj slici i informacija o referentnom regionu može biti konfigurisana kao režim kodiranja informacija o kretanju. Ovde se informacije o referentnoj slici i informacije o referentnom regionu mogu dobiti iz susednog bloka ili unapred podešene vrednosti (npr. 0 <Zero> vector), a susedni blok može biti najmanje jedan prostorno ili vremenski susedni blok. Na primer, informacije o kretanju susednog bloka ili informacije o referentnoj slici mogu se koristiti za kodiranje informacija o kretanju trenutnog bloka. Informacija o kretanju susednog bloka ili informacija (ili medijana, informacija koja je podvrgnuta procesu transformacije i slično) izvedena iz informacija o referentnoj slici može se koristiti za kodiranje informacija o kretanju trenutnog bloka. Odnosno, informacije o kretanju trenutnog bloka mogu se predvideti iz susednog bloka i informacije o njemu mogu biti kodirane.
[0651] U predmetnom pronalasku, može biti podržan veći broj režima kodiranja informacija o kretanju za informacije o kretanju trenutnog bloka. Što se tiče režima kodiranja informacija o kretanju, jedan od postupaka režima preskakanja, režima spajanja i režima takmičenja može se koristiti za kodiranje informacija o kretanju.
[0652] Režim kodiranja informacija o kretanju može se klasifikovati po podešavanjima za kombinaciju informacija o referentnoj slici i informacija o referentnom regionu.
[0653] U režimu preskakanja i režimu spajanja, informacije o kretanju trenutnog bloka mogu se dobiti iz najmanje jednog bloka kandidata (ili grupe kandidata za režim preskakanja, grupe kandidata za režim spajanja). Odnosno, informacije predikcije o referentnoj slici ili referentnom regionu mogu se dobiti iz bloka kandidata, a informacije o tamošnjim razlikama se ne generišu. Režim preskakanja se primenjuje kada je rezidualni signal nula, a režim spajanja se primenjuje kada rezidualni signal nije nula.
[0654] U režimu takmičenja, informacije o kretanju trenutnog bloka mogu se dobiti od najmanje jednog bloka kandidata (ili grupe kandidata u režimu takmičenja). Odnosno, informacije predikcije o referentnoj slici ili referentnom regionu mogu se dobiti iz bloka kandidata, a informacije o njihovim razlikama mogu da se generišu.
[0655] Grupa kandidata za gornji režim rada može se konstruisati adaptivno. Na primer, režim preskakanja i režim spajanja mogu imati istu konfiguraciju, a režim takmičenja može imati različitu konfiguraciju. Broj grupa kandidata za režim, takođe, može biti određen adaptivno. Na primer, režim preskakanja i režim spajanja mogu imati a grupe kandidata, a režim takmičenja može imati b grupe kandidata. Dalje, kada je broj grupa kandidata za svaki režim jedan, informacije o izboru kandidata mogu biti odabrane. Kada se podrži veći broj grupa kandidata, generišu se informacije o izboru kandidata.
[0656] Prema jednom postupku određenom iz gore opisanih postupaka, informacije o kretanju mogu biti kodirane. Kada je režim kodiranja informacija o kretanju režim preskakanja ili režim spajanja, vrši se proces kodiranja kretanja režimom spajanja. Kada je režim kodiranja informacija o kretanju takmičarski režim, vrši se proces kodiranja takmičarskim režimom.
[0657] Ukratko, u procesu kodiranja kretanja spajanjem, informacije predikcije na referentnoj slici ili na referentnom regionu mogu se dobiti, a dobijene informacije predikcije mogu biti kodirane u informacije o kretanju trenutnog bloka. Dalje, u procesu kodiranja takmičarskog kretanja, mogu se dobiti informacije predikcije o referentnoj slici ili referentnom regionu. Informacije o razlici (npr. mv - mvp = mvd, mv je trenutna informacija o kretanju, mvp je informacija o kretanju predikcije, a mvd je informacija o kretanju razlike) između dobijenih informacija predikcije i informacija o kretanju trenutnog bloka mogu biti kodirane kao informacije o kretanju trenutnog bloka. U prvom slučaju, rezidualni signal može biti ili ne mora biti kodiran u skladu sa režimom kodiranja informacija o kretanju.
[0658] Opsezi blokova u kojima je svaki režim kodiranja informacija o kretanju podržan u skladu sa postavkama kodiranja/dekodiranja (npr. tip slike, komponenta boje i slično) mogu biti isti ili različiti jedan od drugog.
[0659] Slika 38 je primer dijagrama koji prikazuje blok na koji se upućuje u predviđanju informacija o kretanju trenutnog bloka prema jednoj realizaciji predmetnog pronalaska.
[0660] Uz upućivanje na Sl. 38, informacije o kretanju prostorno susednih blokova mogu biti uključene u grupu kandidata za predikciju informacija o kretanju trenutnog bloka. Preciznije, informacije o kretanju levog, gornjeg, gornjeg levog, gornjeg desnog i donjeg levog bloka (TL, T, TR, L, BL i slično trenutnog bloka na Slici 38) sa trenutnim blokom u centru mogu biti uključeni u grupu kandidata.
[0661] Dalje, informacije o kretanju vremenski susednih blokova mogu biti uključene u grupu kandidata. Preciznije, na slici koja se koristi u konstrukciji grupe temporalnih kandidata, informacije o kretanju levog, gornjeg levog, gornjeg, gornjeg desnog, desnog, donjeg desnog, donjeg i donjeg levog bloka (TL, T, TR, L, R, BL, B i BR na SLICI 38) sa blokom koji je isti kao trenutni blok u centru i informacija o kretanju (Col) bloka može biti uključena u grupu kandidata.
[0662] Dalje, grupa kandidata može uključiti: informacije o kretanju dobijene iz većeg broja delova informacija o kretanju prostorno susednih blokova; informacije o kretanju dobijene iz većeg broja delova informacija o kretanju vremenski susednih blokova; i informacije o kretanju dobijene iz najmanje jednog dela informacije o kretanju prostorno susednih blokova i iz najmanje jednog dela informacije o kretanju vremenski susednih blokova. Informacije o kretanju uključene u grupu kandidata mogu se dobiti korišćenjem postupka, kao što je prosek, medijana i slično, od više delova informacija o kretanju.
[0663] Informacije o kretanju mogu biti uključene u grupu kandidata za predikciju informacija o kretanju trenutnog bloka prema unapred postavljenom prioritetu (npr. redosled prostornog kandidata, vremenski kandidat i drugi kandidati), a podešavanja grupe kandidata za predikciju informacija o kretanju mogu biti određena prema režimu kodiranja informacija o kretanju.
[0664] Ovde, u procesu konstruisanja grupe kandidata za predikciju informacija o kretanju prema prioritetu, proverava se dostupnost predikcije informacija o kretanju svakog bloka radi klasifikacije na dostupne informacije o kretanju i nedostupne informacije o kretanju. Dostupne informacije o kretanju mogu biti uključene u grupu kandidata, a nedostupne informacije o kretanju ne mogu biti uključene u grupu kandidata.
[0665] Dalje, u skladu sa podešavanjima koja se odnose na interpredikciju, mogu se odrediti podešavanja režima kodiranja informacija o kretanju. Na primer, u slučaju podudaranja šablona, može biti podržan režim kodiranja informacija o kretanju. U slučaju netranslacionog modela kretanja, grupa kandidata za režim prema vektoru kretanja može biti podržana različito u svakom režimu kodiranja informacija o kretanju.
[0666] Slika 39 je primer dijagrama koji prikazuje blok referenciran za predikciju informacija o kretanju trenutnog bloka u modelu kretanja bez translacije prema jednoj realizaciji predmetnog pronalaska.
[0667] U slučaju netranslacionog modela kretanja, informacije o kretanju mogu biti predstavljene korišćenjem većeg broja vektora kretanja, a mogu se obezbediti podešavanja različita od sastava grupe kandidata za predikciju informacija o kretanju translacionog modela kretanja. Na primer, kao što je prikazano na Sl. 36, pojedinačne grupe kandidata za predikciju informacija o kretanju (npr. prva grupa kandidata za predikciju informacija o kretanju i druga grupa kandidata za predikciju informacija o kretanju) za gornji levi vektor kretanja (V0) i gornji desni vektor kretanja (V1) mogu biti podržane.
[0668] Uz upućivanje na Sl. 39, u slučaju V0 i V1, informacije o kretanju prostorno susednih blokova mogu biti uključene u prvu i drugu grupu kandidata za predikciju informacija o kretanju trenutnog bloka.
[0669] Na primer, prva grupa kandidata za predikciju informacija o kretanju može da uključuje informacije o kretanju levog, gornjeg i gornjeg levog bloka (Ln, Tw, TL i slično na Sl.39), a druga grupa kandidata za predikciju informacija o kretanju može da uključuje kretanje informacije gornjih i gornjih desnih blokova (Te, TR i sl. na Sl. 39). Alternativno, informacije o kretanju vremenski susednih blokova mogu biti uključene u grupu kandidata.
[0670] U slučaju netranslacionog modela kretanja, grupa kandidata za predikciju informacija o kretanju može biti sastavljena različito u zavisnosti od načina kodiranja informacija o kretanju.
[0671] U gore opisanom primeru, u režimu takmičenja, proces predikcije informacija o kretanju se izvodi prema broju vektora kretanja koji su eksplicitno generisani kroz netranslacioni model kretanja. Nasuprot tome, u režimu spajanja ili režimu preskakanja, informacije o vektoru kretanja su implicitno određene informacijama o zastavici režima kodiranja informacija o kretanju, tako da se može izvršiti različit broj procesa predikcije informacija o kretanju.
[0672] Na primer, sastav grupe kandidata za predikciju informacija o kretanju za donji levi vektor kretanja može biti obezbeđen pored gornjeg levog vektora kretanja i gornjeg desnog vektora kretanja. U ovom slučaju, grupa kandidata za predikciju informacija o kretanju za donji levi vektor kretanja može da uključuje informacije o kretanju levog i donjeg levog bloka.
[0673] Koristeći sastav većeg broja grupa kandidata za predikciju informacija o kretanju, može se izvesti proces kodiranja stapanja kretanja.
[0674] Gornji primer je samo primer sastava grupe kandidata za informacije o kretanju netranslacionog modela kretanja. Predmetni pronalazak nije ograničen na to, i mogu se obezbediti drugi sastavi i modifikacije.
[0675] Informacije u vezi sa kretanjem koje generiše deo za kodiranje informacija o kretanju mogu se preneti u deo za kodiranje i dodati u tok bitova.
[0676] Interpredikcija u postupku dekodiranja slike prema realizaciji predmetnog pronalaska može se konfigurisati na sledeći način. Interpredikcija dela predikcije može da uključuje korak dekodiranja informacija o kretanju, korak konstrukcije referentne slike i korak kompenzacije kretanja. Dalje, uređaj za dekodiranje slike može biti konfigurisan da uključuje deo za dekodiranje informacija o kretanju, deo za konstrukciju referentne slike i deo za kompenzaciju kretanja, koji izvode korak dekodiranja informacija o kretanju, korak izgradnje referentne slike i korak kompenzacije kretanja. Neki od gore opisanih procesa mogu biti izostavljeni, drugi procesi mogu biti dodati ili se redosled može promeniti u drugi red. Dalje, suvišni opis kodera će biti izostavljen.
[0677] Deo za dekodiranje informacija o kretanju može da primi informacije o kretanju od dela za dekodiranje da bi restaurirao informacije o kretanju trenutnog bloka. Informacija o kretanju može biti restaurirana iz informacija kao što su vektor kretanja, lista referentnih slika, indeks referentne slike i slično za sliku i region koji su referencirani za generisanje bloka predikcije. Dalje, informacije o referentnoj slici i referentnom regionu mogu se restaurirati iz režima kodiranja informacija o kretanju. Dalje, informacije o podešavanju koje se odnose na interpredikciju mogu se vratiti.
[0678] Deo za konstrukciju referentne slike može konstruisati referentnu sliku na isti način kao deo za konstrukciju referentne slike kodera, a njegov detaljan opis će biti izostavljen.
[0679] Deo za kompenzaciju kretanja može da vrši kompenzaciju kretanja na isti način kao deo za kompenzaciju kretanja kod kodera, a njegov detaljan opis će biti izostavljen. Blok predikcije generisan kroz proces može se preneti sabiraču.
[0680] U nastavku će biti detaljno opisana interpredikcija prema jednoj realizaciji predmetnog pronalaska. U sledećem primeru će uglavnom biti opisan koder.
[0681] U procesu promene veličine slike, promena veličine se može izvršiti tokom koraka predikcije ili pre izvođenja predikcije. U slučaju interpredikcije, može se izvršiti promena veličine referentne slike. Alternativno, u procesu promene veličine slike, promena veličine se može izvršiti u početnoj fazi kodiranja/dekodiranja. U slučaju interpredikcije, može se izvršiti promena veličine kodirane slike.
[0682] Na primer, kada se proširi referentna slika (podrazumevana veličina), moguće je proširenje u referentnu sliku (proširene veličine) trenutne slike kodiranja. Alternativno, kada se širi slika kodiranja (podrazumevana veličina), skladištenje (proširena veličina) u memoriji je moguće nakon što se kodiranje završi, a moguće je i korišćenje kao referentne slike (proširene veličine) druge slike za kodiranje. Alternativno, kada se proširi slika kodiranja (podrazumevana veličina), smanjenje i skladištenje (podrazumevana veličina) u memoriji je moguće nakon što se kodiranje završi, a korišćenje kao referentne slike (proširene veličine) druge slike kodiranja je moguće preko procesa proširenja referentne slike.
[0683] Biće opisana interpredikcija slike od 360 stepeni u kojoj se koristi slika promenjena u različitim slučajevima kao što je gore opisano.
[0684] Slika 40 je primer dijagrama koji prikazuje da se interpredikcija vrši korišćenjem proširene slike prema jednoj realizaciji predmetnog pronalaska. Prikazuje interpredikciju u formatu CMP projekcije slike od 360 stepeni.
[0685] Uz upućivanje na Sl. 40, slika označava referentnu sliku i prikazan je primer bloka za predikciju (V do Z na Sl. 40, veličine 2Mx2N) dobijen iz trenutnog bloka (nije prikazan na crtežima) slike kodiranja kroz interpredikciju. Na sl.40, postojeći regioni mogu biti S'0,0 do S'2,1, a prošireni regioni mogu biti E1 do E14. Ovaj primer može biti primer promene veličine kao što je prikazano u delu 27C. Vrednosti promene veličine su proširene za b, d, a i c u smeru gore, dole, levo i desno. Opis je dat pod pretpostavkom proširenja u veličinu (2Mx2N) bloka za predikciju dobijenog iz dela za particionisanje bloka.
[0686] Opis je dat pod pretpostavkom da se neki postupci obrade podataka (npr. postupak popunjavanja transformacijom određenog regiona slike) koriste za promenu veličine slike. Dalje, grupa od S'0,0 S'1,0 S'2,0 i grupa od S'0,1 S'1,1 S'2,2 mogu biti uzastopne. E8 se može dobiti iz S'2,1, ili E9 se može dobiti iz S'0,1. Detaljan opis kontinuiteta između lica upućuje na Sl.
21, 24 i 25.
[0687] U slučaju V, V se može dobiti kao blok predikcije u postojećem regionu (S'0,0).
[0688] U slučaju W, W je pozicioniran preko više postojećih regiona (S'1,0, S'2,0), a veći broj postojećih regiona su lica koja imaju kontinuitet, tako da se W može dobiti kao blok predikcije. Alternativno, moguća je podela na Mx2N koji pripada specifičnom postojećem regionu (S'1,0) i Mx2N koji pripada specifičnom postojećem regionu (S'2,0). Veći broj postojećih regiona ima karakteristike izobličenog kontinuiteta u odnosu na granicu lica, tako da je akvizicija kao podblok predikcije moguća.
[0689] U slučaju X, X je pozicioniran u proširenom regionu (E8), a prošireni region je region dobijen korišćenjem podataka o regionu (S'2,1) koji imaju visoku korelaciju sa postojećim regionom (S'0, 1), tako da je moguća akvizicija kao blok predikcije. Kada se ne izvrši promena veličine slike, moguća je akvizicija kao blok predikcije iz postojećeg regiona (S'2,1).
[0690] U slučaju Y, Y je pozicioniran preko više postojećih regiona (S'1,0, S'1,1), a veći broj postojećih regiona su lica koja nemaju kontinuitet, tako da je akvizicija kao podblok predikcije moguća sa particionisanjem na 2MxN koji pripadaju određenom postojećem regionu (S'1,0) i 2MxN koji pripadaju specifičnom postojećem regionu (S'1,1).
[0691] U slučaju Z, Z je pozicioniran preko specifičnog postojećeg regiona (S'2,1) i specifičnog proširenog regiona (E9), a prošireni region je region dobijen korišćenjem podataka o regionu (S'0,1) koji ima visoku korelaciju sa postojećim regionom (S'2,1), tako da je akvizicija kao blok predikcije moguća. Kada se ne izvrši promena veličine slike, akvizicija kao podblok predikcije je moguća tako što se deli na Mx2N koji pripada određenom postojećem regionu (S'2,1) i Mx2N koji pripada određenom postojećem regionu (S '0,1).
[0692] Poput gore opisanog primera, blokovi predikcije kao što su X i Z se dobijaju proširenjem spoljne granice slike (pod pretpostavkom da je iskrivljeni kontinuitet između postojećeg regiona i proširenog regiona uklonjen korišćenjem postupka obrade podataka u ovom primeru), čime se poboljšavaju performanse kodiranja. Međutim, zbog granice lica unutar slike koja nema kontinuitet, dolazi do podele na podblokove kao što je Y, što može da pogorša performanse kodiranja. Dalje, postoji slučaj u kojem iako je prisutan kontinuitet unutar slike, teško je dobiti precizan blok predikcije kao što je W zbog granice lica koja ima izobličen kontinuitet. U tu svrhu može se razmotriti promena veličine na unutrašnjoj granici (npr. granici između lica) slike.
[0693] Slika 41 je konceptualni dijagram koji prikazuje proširenje prednje jedinice prema jednoj realizaciji predmetnog pronalaska.
[0694] Kao što je prikazano na Sl.41, efikasnost interpredikcije može biti poboljšana izvođenjem proširenja jedinice lica. Ovaj primer može biti primer promene veličine kao što je prikazano u delu 27A. U delu 27A, lica promenjene veličine čine jednu sliku. Nasuprot tome, u ovom primeru, lica promenjene veličine su konfigurisana kao pojedinačne podslike (sub-pictures). U ovom primeru, jedinica proširenog lica se naziva delimična slika (image).
[0695] Delimična slika može se privremeno koristiti za postojeću referentnu sliku, ili se može koristiti umesto postojeće referentne slike, ili se može koristiti kontinuirano sa postojećom referentnom slikom. U sledećem primeru će uglavnom biti opisan slučaj upotrebe umesto postojeće referentne slike.
[0696] Tokom interpredikcije u slici (image/picture), blok predikcije se može dobiti iz bloka označenog vektorom kretanja trenutnog bloka.
[0697] Tokom interpredikcije u delimičnoj slici (lice), moguće je proveriti kojoj delimičnoj slici pripada blok označen vektorom kretanja trenutnog bloka, čime se dobija blok predikcije u delimičnoj slici. Ovde se iz slike može utvrditi kojoj delimičnoj slici pripada blok.
[0698] U nastavku će biti opisani različiti slučajevi u kojima se blok predikcije dobija iz delimične slike. Ovde će biti opisani različiti primeri u vezi sa V do Z na Sl.40. Na Sl.40, pretpostavlja se slučaj neproširene slike (S_Width x S_Height).
[0699] Na primer, u slučaju (V) pripadnosti jednom licu, blok predikcije se može dobiti iz delimične slike (f0) koja se odnosi na lice.
[0700] Na primer, u slučajevima (W i Y) pripadnosti većem broju lica, blok predikcije se može dobiti iz delimične slike (f1 ili f2 za w, i f1 ili f4 za Y) koja se odnosi na lice koje uključuje više piksela. Ovde, kada se uključi isti broj piksela, lice kojem blok pripada može se odrediti prema unapred postavljenom pravilu.
[0701] Na primer, u slučaju (Z) delimičnog pripadanja jednom licu, blok predikcije se može dobiti iz delimične slike (f5) koja se odnosi na lice.
[0702] Na primer, u slučaju (X) kada ne pripada nijednom licu, blok predikcije se može dobiti iz delimične slike (f3) koja se odnosi na susedno lice.
[0703] Gornji primer je specifičan primer u kome se delimična slika koristi za obavljanje interpredikcije. Predmetni pronalazak nije ograničen na njega, i mogu se dati druge definicije i druge modifikacije.
[0704] Slika 42 je primer dijagrama koji prikazuje da se interpredikcija vrši korišćenjem proširene slike prema jednoj realizaciji predmetnog pronalaska.
[0705] Uz upućivanje na Sl. 42, primer dobijanja blokova predikcije (A' do D', C”, i D” na Slici 42) iz referentnih slika (Ref 0[1], Ref 0[0], Ref 1 [0] i Ref 1[1] na Sl. 42) izvođenjem interpredikcije trenutnih blokova (A do D na Sl. 42). Alternativno, primer dobijanja bloka predikcije iz delimične slike (f0 do f3 na Slici 42) referentne slike. U sledećem primeru, interpredikcija u proširenoj slici kao što je prikazano na Sl.40 i interpredikcija u delimičnoj slici će biti opisane i nazvane prvi postupak i drugi postupak, redom. Dalje, dat je opis pod pretpostavkom da se neki postupci obrade podataka (npr. postupak popunjavanja transformacijom specifičnog regiona slike) koriste za promenu veličine.
[0706] U slučaju bloka A, u prvom postupku, blok predikcije (A') se može dobiti iz unapred zadatog regiona specifične referentne slike (Ref 0[1]), a u drugom postupku, blok predikcije (A ') može se dobiti iz specifične delimične slike (f0) specifične referentne slike (Ref 0[1]).
[0707] U slučaju bloka B, u prvom postupku, blok predikcije (B') se može dobiti iz unapred zadatog regiona specifične referentne slike (Ref 1[1]), a u drugom postupku, blok predikcije (B') može se dobiti iz specifične delimične slike (f0) specifične referentne slike (Ref 1[1]).
[0708] U slučaju bloka C, u prvom postupku, podblok predikcije (C' se pretpostavlja kao slučaj vertikalnog particionisanja) može se dobiti iz više podrazumevanih regiona specifične referentne slike (Ref 0[0]) i u drugom postupku, blok predikcije se može dobiti iz specifične delimične slike (f2) specifične referentne slike (Ref 0[0]).
[0709] U slučaju bloka D, u prvom postupku, blok predikcije (D') se može dobiti iz unapred zadatog regiona i proširenog regiona specifične referentne slike (Ref 1[0]), a u drugom postupku, blok predikcije (D”) može se dobiti iz specifične delimične slike (f3) određene referentne slike (Ref 1[0]).
[0710] U gornjem primeru, u slučaju blokova A i B, rezultati interpredikcije postojeće slike, proširene slike i delimične slike su isti. U slučaju bloka D, rezultati interpredikcije proširene slike i delimične slike su isti, ali se razlikuju od rezultata interpredikcije postojeće slike. U slučaju bloka C, rezultati interpredikcije postojeće slike i proširene slike su isti, ali se razlikuju od rezultata interpredikcije delimične slike.
[0711] Ukratko, u interpredikciji proširene slike, s obzirom na karakteristike slike od 360 stepeni, spoljna granica slike se proširuje, a region se popunjava podacima koji imaju visoku korelaciju za korišćenje u interpredikciji, ali zbog karakteristike unutrašnje granice slike, efikasnost predikcije može biti smanjena. U interpredikciji delimične slike, interpredikcija se može izvršiti s obzirom na gore opisani problem, tako da se efikasnost predikcije može povećati.
[0712] Slika od 360 stepeni može biti sastavljena od više lica prema formatu projekcije. Opisano je da je svaki koordinatni sistem u 2D ravni definisan za svako lice. Ova karakteristika može dovesti do smanjenja efikasnosti interpredikcije na slici od 360 stepeni.
[0713] Uz upućivanje na Sl.42, u vezi sa blokom A, blok predikcije se može dobiti iz bloka A', a blok A' može biti blok koji pripada istom licu (gornjem levom delu slike) kao blok A. To može značiti da blokovi A i A' imaju koordinatne sisteme istog lica.
[0714] Nasuprot tome, u pogledu bloka B, blok predikcije se može dobiti iz bloka B', a blok B' može biti blok koji pripada licu različitom od bloka B (gornje desno lice za blok B i gornje levo lice za blok B'). Uprkos istom objektu, kada dođe do kretanja ka drugom licu zbog karakteristika koordinatnog sistema svakog lica, generiše se rotacija za raspored upoređivanjem sa postojećim licem unutar lica. U gornjem primeru, tačno predviđanje (ili kompenzacija kretanja velike veličine bloka) preko specifičnog modela kretanja (model translacionog kretanja) može biti teško, a u tom cilju, kada se koristi model netranslacionog kretanja, tačnost predikcije može biti poboljšana.
[0715] U nastavku će biti opisani različiti slučajevi u kojima se interpredikcija vrši korišćenjem modela translacionog kretanja i modela kretanja bez translacije. Dat je opis ciljanih blokova A do D na Sl.42 i pretpostavlja se slučaj korišćenja interpredikcije delimične slike.
[0716] Na primer, u vezi sa blokovima A, C i D, model kretanja translacije se može koristiti za dobijanje blokova predikcije (A', C' i D') koji pripadaju istom licu (ili delimičnoj slici). Alternativno, u vezi sa blokom B, jedan od modela translacionog kretanja i modela netranslacionog kretanja može se koristiti za dobijanje bloka (B') predikcije koji pripada drugom licu.
[0717] Na primer, u vezi sa blokovima A, C i D, jedan od modela translacionog kretanja i modela netranslacionog kretanja može se koristiti za dobijanje blokova predikcije (A', C' i D') koji pripadaju istom licu. Alternativno, u vezi sa blokom B, netranslacioni model kretanja se može koristiti za dobijanje bloka (B') predikcije koji pripada drugom licu.
[0718] Gornji primer može biti primer korišćenja jednog unapred podešenog modela kretanja ili jednog od većeg broja modela kretanja prema kojima lica pripadaju trenutnom bloku i bloku za predviđanje, redom. Odnosno, u prvom slučaju, informacija o izboru modela kretanja je implicitno određena, a u drugom slučaju, informacija o izboru modela kretanja je eksplicitno određena.
[0719] Kao drugi primer, u vezi sa blokovima A do D, jedan od modela translacionog kretanja i modela netranslacionog kretanja može se koristiti za dobijanje bloka predikcije. Blokovi A, C i D mogu da prate postavku verovatnoće 1 za informacije o izboru modela kretanja, a blok B može da prati postavku verovatnoće 2 za informacije o izboru modela kretanja. Ovde, postavka verovatnoće 1 može biti postavka u kojoj postoji velika verovatnoća da je izabran model translacionog kretanja. Postavka verovatnoće 2 može biti postavka u kojoj postoji velika verovatnoća da je izabran model netranslacionog kretanja.
[0720] Gornji primer je specifičan primer u kome se više modela kretanja koristi za izvođenje interpredikcije. Predmetni pronalazak nije ograničen na to, i mogu se obezbediti modifikacije.
[0721] Slika 43 je primer dijagrama koji prikazuje da se interpredikcija vrši korišćenjem proširene referentne slike prema jednoj realizaciji predmetnog pronalaska. Prikazuje interpredikciju u formatu ERP projekcije slike od 360 stepeni.
[0722] Uz upućivanje na Sl.43, primer dobijanja blokova predikcije (blokovi P1 do P5 i F1 do F4 na Sl.43) iz referentnih slika (T-1 i T+1 na Slici 43) izvođenjem interpredikcije trenutnih blokova (blokovi C1 do C6 na Sl.43).
[0723] U slučaju bloka C1, blok predikcije (P1) se može dobiti iz proširenog regiona (S2). Ovde, kada referentna slika nije proširena, blok predikcije se može dobiti particionisanjem na više podblokova.
[0724] U slučaju bloka C2, privremeni blok predikcije (P2) se može dobiti iz specifičnog proširenog regiona (S3), privremeni blok predikcije (F1) se može dobiti iz specifičnog postojećeg regiona (U1), a blok predikcije može dobiti iz ponderisanog zbira privremenih blokova predikcije.
[0725] U slučaju blokova C3 i C4, blokovi predikcije (P3 i P4 F2) se mogu dobiti iz postojećih regiona (S1 i U2).
[0726] U slučaju bloka C5, blok predikcije (F3) se može dobiti iz proširenog regiona (U3). Ovde, kada referentna slika nije proširena, dobija se blok predikcije (F3”) bez particionisanja blokova, ali se povećava količina informacija o kretanju (C5 je pozicioniran sa desne strane slike, F3 je pozicioniran sa desne strane slike, a F3” se nalazi na levoj strani slike) za predstavljanje bloka predikcije.
[0727] U slučaju bloka C6, privremeni blok predikcije (P5) se može dobiti iz specifičnog proširenog regiona (S2), privremeni blok predikcije (F4) se može dobiti iz specifičnog proširenog regiona (U3), a blok predikcije može se dobiti iz proseka privremenih blokova predikcije.
[0728] Slika 44 je primer dijagrama koji prikazuje kompoziciju grupe kandidata za predikciju informacija o kretanju za interpredikciju na slici od 360 stepeni prema jednoj realizaciji predmetnog pronalaska.
[0729] Uz upućivanje na Sl. 44, prikazan je primer dobijanja proširene slike (B) izvođenjem promene veličine na slici kodiranja (A). U sledećem primeru biće opisani različiti slučajevi sastava grupa kandidata za predikciju informacija o kretanju od a do c blokova.
[0730] U slučaju bloka, grupa kandidata za predikciju informacija o kretanju može da uključuje informacije o kretanju blokova od a0 do a4. Alternativno, kada je referenca regiona promenjene veličine ograničena, grupa kandidata uključuje informacije o kretanju a3 i a4 blokova.
[0731] U slučaju b bloka, grupa kandidata za predikciju informacija o kretanju može da uključuje informacije o kretanju blokova b0 do b4. Alternativno, grupa kandidata može uključiti informacije o kretanju blokova b3 i b4 isključujući blok pozicioniran na licu u kojem nije prisutan kontinuitet sa licem kome pripada trenutni blok. Dalje, informacije o kretanju gornjih levih, gornjih i gornjih desnih blokova koji su pozicionirani na istoj površini u kojoj nije prisutan kontinuitet sa blokom u centru koji je isti kao trenutni blok koji je vremenski pored njega, mogu biti isključeni iz grupa kandidata.
[0732] U slučaju c bloka, grupa kandidata za predikciju informacija o kretanju može da uključuje informacije o kretanju blokova c0 do c4. Alternativno, grupa kandidata može uključiti informacije o kretanju c1 i c2 blokova isključujući blok koji ima kontinuitet sa licem kome pripada trenutni blok, ali je pozicioniran na drugom licu. Alternativno, informacije o kretanju c0, c3 i c4 blokova dobijene kroz proces transformacije u skladu sa karakteristikama koordinatnog sistema trenutnog lica mogu biti uključene i informacije o kretanju c0 do c4 blokova mogu biti uključene.
[0733] Primeri pokazuju sastave grupa kandidata za predikciju informacija o kretanju za interpredikciju. Kao gornji primer, grupa kandidata za predikciju informacija o kretanju može se odrediti prema podešavanjima kodiranja/dekodiranja. Predmetni pronalazak nije ograničen na to, i mogu se obezbediti druge kompozicije i modifikacije.
[0734] Postupak dekodiranja slike od 360 stepeni prema realizaciji predmetnog pronalaska može da uključuje prijem toka bitova u kojem je slika od 360 stepeni kodirana, generisanje predviđene slike u odnosu na sintaksičke informacije dobijene iz primljenog toka bitova, preuzimanje dekodirane slike kombinovanjem generisane predviđene slike sa rezidualnom slikom dobijenom inverznom kvantizacijom i inverznom transformacijom toka bitova, i rekonstruisanjem dekodirane slike u sliku od 360 stepeni prema formatu projekcije.
[0735] Ovde informacije o sintaksi mogu da uključuju informacije o formatu projekcije za sliku od 360 stepeni.
[0736] Ovde informacije o formatu projekcije mogu biti informacije koje ukazuju na najmanje jedan od ERP formata u kojem se slika od 360 stepeni projektuje u 2D ravan, CMP format u kojem se slika od 360 stepeni projektuje u kocku, OHP format u kome se slika od 360 stepeni projektuje na oktaedar i ISP format u kome se slika od 360 stepeni projektuje na poliedar.
[0737] Ovde, rekonstrukcija može da uključuje pribavljanje informacija o rasporedu u skladu sa pakovanjem po regionima u odnosu na informacije o sintaksi i preraspodelu blokova dekodirane slike u skladu sa informacijama o rasporedu.
[0738] Ovde, generisanje predviđene slike može da uključuje izvođenje proširenja slike na referentnoj slici dobijenoj vraćanjem toka bitova i generisanje predviđene slike u odnosu na referentnu sliku na kojoj se vrši proširenje slike.
[0739] Ovde, izvođenje proširenja slike može da uključuje izvođenje proširenja slike na osnovu jedinice za particionisanje referentne slike.
[0740] Ovde, izvođenje proširenja slike na osnovu jedinica za particionisanje može da uključuje generisanje proširenog regiona pojedinačno za svaku jedinicu za particionisanje, korišćenjem graničnog piksela jedinice za particionisanje.
[0741] Ovde, prošireni region može biti generisan korišćenjem graničnog piksela jedinice za particionisanje prostorno pored jedinice za particionisanje koja će se proširiti ili korišćenjem graničnog piksela jedinice za particionisanje koja ima kontinuitet slike sa jedinicom za particionisanje koju treba proširiti.
[0742] Ovde, izvođenje proširenja slike na osnovu jedinice za particionisanje može da uključuje generisanje proširene slike za region gde su kombinovane dve ili više jedinica za particionisanje koje su prostorno susedne jedna drugoj među jedinicama za particionisanje, koristeći granični piksel kombinovanog regiona.
[0743] Ovde, izvođenje proširenja slike na osnovu jedinice za particionisanje može da uključuje generisanje proširenog regiona između susednih jedinica za particionisanje koje su prostorno susedne jedna drugoj među jedinicama za particionisanje, koristeći sve susedne informacije o pikselima susednih jedinica za particionisanje.
[0744] Ovde, izvođenje proširenja slike na osnovu jedinice za particionisanje može da uključuje generisanje proširenog regiona korišćenjem prosečne vrednosti susednih piksela svake od prostorno susednih jedinica za particionisanje.
[0745] Ovde, generisanje predviđene slike može da uključuje, pribavljanje, iz informacija o kretanju koje su uključene u informacije o sintaksi, grupe kandidata za vektor kretanja koja uključuje vektor kretanja bloka pored trenutnog bloka koji treba da se dekodira, izveden na osnovu informacije o izboru ekstrahovane iz informacija o kretanju, vektor predikcije kretanja iz grupe kandidata za vektor kretanja i određivanje predikcionog bloka trenutnog bloka koji treba dekodirati korišćenjem konačnog vektora kretanja koji se izvodi dodavanjem vektora predikcije kretanja i razlike vektora kretanja izvučene iz informacija o kretanju.
[0746] Ovde, grupa kandidata za vektor kretanja može biti, kada su blokovi susedni trenutnom bloku različiti od lica kome pripada trenutni blok, sastavljena samo od vektora kretanja za blok, među susednim blokovima, koji pripada licu koje ima kontinuitet slike sa licem kome pripada trenutni blok.
[0747] Ovde, blok koji je susedan trenutnom bloku može značiti blok susedan trenutnom bloku u najmanje jednom smeru izabranom od gore levo, gore, gore desno, dole i dole levo.
[0748] Ovde, konačni vektor kretanja može ukazivati, na osnovu trenutnog bloka, referentni region koji je uključen u okviru najmanje jedne referentne slike i postavljen u regionu koji ima kontinuitet slike između lica prema formatu projekcije.
[0749] Ovde se referentna slika može proširiti u smeru gore, dole, levo i desno na osnovu kontinuiteta slike prema formatu projekcije, a zatim se može postaviti referentni region.
[0750] Ovde se referentna slika može proširiti u jedinici lica, a referentni region se može postaviti preko granice lica.
[0751] Ovde, informacije o kretanju mogu da uključuju najmanje jednu među listom referentnih slika kojoj pripada referentna slika, indeks referentne slike i vektor kretanja koji ukazuje na referentni region.
[0752] Ovde, generisanje bloka predikcije trenutnog bloka može da uključuje particionisanje trenutnog bloka na više podblokova i generisanje bloka predikcije za svaki od većeg broja podblokova koji su rezultat particionisanja.
[0753] Postupci prema predmetnom pronalasku mogu se realizovati u formatu programske komande koja se može izvršiti korišćenjem različitih računarskih sredstava, tako da se snime na računarski čitljiv medij. Računarski čitljiv medij može nezavisno uključivati programsku komandu, datoteku podataka, strukturu podataka i tako dalje, ili može da uključuje kombinaciju istih. Programska komanda koja se snima u računarski čitljivom mediju može odgovarati programskoj komandi koja je posebno dizajnirana i konfigurisana za realizacije predmetnog pronalaska, ili programska komanda može odgovarati programskoj komandi koja je stavljena na uvid i dostupna svima koji su vešti u ili u vezi sa računarskim softverom.
[0754] Primeri računarski čitljivog medija za snimanje mogu da uključuju hardverske uređaje, kao što su ROM, RAM, fleš memorije i tako dalje, posebno konfigurisane za čuvanje i izvršavanje programskih komandi. Primeri programske komande mogu ne samo da obuhvataju kodove mašinskog jezika, koje kreira kompajler, već mogu da uključuju i kodove jezika visokog nivoa, koje računar može da izvrši pomoću tumača i tako dalje. Gore pomenuta hardverska oprema može biti konfigurisana da radi kao jedan ili više softverskih modula za izvršavanje operacija primera realizacija predmetnog pronalaska, i obrnuto.
[0755] Pored toga, deo ili celina konfiguracija ili funkcija gore opisanog postupka ili uređaja može se primeniti na kombinovan način ili odvojeno.

Claims (4)

Patentni zahtevi
1. Postupak za dekodiranje slike od 360 stepeni, a postupak obuhvata:
primanje toka bitova u kojem je kodirana slika od 360 stepeni, pri čemu tok bitova uključuje podatke proširene 2-dimenzionalne slike, proširena 2-dimenzionalna slika uključuje 2-dimenzionalnu sliku i unapred određeni region proširenja, a 2-dimenzionalna slika se projektuje od slike sa 3-dimenzionalnom strukturom projekcije i 2-dimenzionalna slika uključuje najmanje jedno lice; i
rekonstruisanje proširene 2-dimenzionalne slike dekodiranjem podataka proširene 2-dimenzionalne slike,
naznačen time, što
veličina regiona proširenja se određuje na osnovu prve informacije o širini regiona proširenja na levoj strani lica i druge informacije o širini regiona proširenja na desnoj strani lica i prva informacija o širini i druga informacija o širini dobijaju se iz toka bitova, vrednosti uzorka regiona proširenja se određuju prema postupku dopunjavanja koji koristi vrednosti uzorka lica, a postupak dopunjavanja se bira iz većeg broja postupaka dopunjavanja, i
postupak dopunjavanja za jednu stranu lica se određuje drugačije od postupka dopunjavanja za drugu stranu lica.
2. Postupak prema zahtevu 1, pri čemu se postupak dopunjavanja bira iz većeg broja postupaka dopunjavanja na osnovu informacija o izboru dobijenih iz toka bitova.
3. Postupak za kodiranje slike od 360 stepeni, a postupaka obuhvata:
dobijanje 2-dimenzionalne slike projektovane iz slike sa 3-dimenzionalnom strukturom projekcije, a 2-dimenzionalne slika uključuje najmanje jedno lice;
dobijanje proširene 2-dimenzionalne slike koja uključuje 2-dimenzionalnu sliku i unapred određeni region proširenja; i
kodiranje podataka proširene 2-dimenzionalne slike u tok bitova u kojem je kodirana slika od 360 stepeni,
naznačen time, što
veličina regiona proširenja je kodirana na osnovu prve informacije o širini regiona proširenja na levoj strani lica i druge informacije o širini regiona proširenja na desnoj strani lica, i prve informacije o širini i druge informacije o širini su kodirane u tok bitova, vrednosti uzorka regiona proširenja se određuju prema postupku dopunjavanja koji koristi vrednosti uzorka lica, a postupak dopunjavanja se bira iz većeg broja postupaka dopunjavanja, i
postupak dopunjavanja za jednu stranu lica se određuje drugačije od postupka dopunjavanja za drugu stranu lica.
4. Privremeni računarski čitljiv medij za snimanje koji skladišti tok bitova koji je generisan postupkom za kodiranje slike od 360 stepeni, a postupak obuhvata:
dobijanje 2-dimenzionalne slike projektovane iz slike sa 3-dimenzionalnom strukturom projekcije, a 2-dimenzionalna slika uključuje najmanje jedno lice;
dobijanje proširene 2-dimenzionalne slike koja uključuje 2-dimenzionalnu sliku i unapred određeni region proširenja; i
kodiranje podataka proširene 2-dimenzionalne slike u tok bitova u kojem je kodirana slika od 360 stepeni,
naznačen time, što
veličina regiona proširenja je kodirana na osnovu prve informacije o širini regiona proširenja na levoj strani lica i druge informacije o širini regiona proširenja na desnoj strani lica, i prve informacije o širini i druge informacije o širini su kodirane u tok bitova, vrednosti uzorka regiona proširenja se određuju prema postupku dopunjavanja koji koristi vrednosti uzorka lica, a postupak dopunjavanja se bira iz većeg broja postupaka dopunjavanja, i
postupak dopunjavanja za jednu stranu lica se određuje drugačije od postupka dopunjavanja za drugu stranu lica.
RS20241048A 2016-10-04 2017-10-10 Postupak i uređaj za kodiranјe/dekodiranјe podataka o slici RS66025B1 (sr)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20160127893 2016-10-04
KR20160129391 2016-10-06
KR20170090621 2017-07-17
EP21208051.9A EP3975559B1 (en) 2016-10-04 2017-10-10 Image data encoding/decoding method and apparatus

Publications (1)

Publication Number Publication Date
RS66025B1 true RS66025B1 (sr) 2024-11-29

Family

ID=61831472

Family Applications (2)

Application Number Title Priority Date Filing Date
RS20260198A RS67765B1 (sr) 2016-10-04 2017-10-10 Postupak i uređaj za kodiranje/dekodiranje podataka slike
RS20241048A RS66025B1 (sr) 2016-10-04 2017-10-10 Postupak i uređaj za kodiranјe/dekodiranјe podataka o slici

Family Applications Before (1)

Application Number Title Priority Date Filing Date
RS20260198A RS67765B1 (sr) 2016-10-04 2017-10-10 Postupak i uređaj za kodiranje/dekodiranje podataka slike

Country Status (18)

Country Link
US (76) US20190230285A1 (sr)
EP (41) EP4432670A3 (sr)
JP (1) JP7826391B2 (sr)
KR (13) KR20260019016A (sr)
CN (51) CN120980224A (sr)
AU (62) AU2017340007B2 (sr)
DK (4) DK4507308T3 (sr)
ES (4) ES2988737T3 (sr)
FI (4) FI4510587T3 (sr)
HR (2) HRP20241313T1 (sr)
HU (1) HUE068266T2 (sr)
LT (2) LT3975559T (sr)
PL (3) PL4387232T3 (sr)
PT (4) PT4387232T (sr)
RS (2) RS67765B1 (sr)
SI (2) SI3975559T1 (sr)
SM (2) SMT202400379T1 (sr)
WO (1) WO2018066988A1 (sr)

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2988737T3 (es) 2016-10-04 2024-11-21 B1 Institute Image Technology Inc Procedimiento y aparato de codificación/decodificación de datos de imagen
CN118945345A (zh) 2016-10-04 2024-11-12 有限公司B1影像技术研究所 图像编码/解码方法、介质和传输比特流的方法
KR20260027320A (ko) 2016-10-04 2026-02-27 주식회사 비원영상기술연구소 영상 데이터 부호화/복호화 방법 및 장치
US10999602B2 (en) 2016-12-23 2021-05-04 Apple Inc. Sphere projected motion estimation/compensation and mode decision
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US10924747B2 (en) 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
US10861359B2 (en) * 2017-05-16 2020-12-08 Texas Instruments Incorporated Surround-view with seamless transition to 3D view system and method
US11093752B2 (en) 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
US20230308626A1 (en) * 2017-07-17 2023-09-28 B1 Institute Of Image Technology, Inc. Image data encoding/decoding method and apparatus
WO2019156141A1 (ja) 2018-02-08 2019-08-15 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
JP7109558B2 (ja) * 2018-02-14 2022-07-29 ホアウェイ・テクノロジーズ・カンパニー・リミテッド 適応型補間フィルタ
PL3782361T3 (pl) 2018-05-31 2023-12-27 Huawei Technologies Co., Ltd. Przestrzennie zmienna transformacja z transformacją typu adaptacyjnego
CN119420945A (zh) 2018-06-11 2025-02-11 Sk电信有限公司 用于帧间预测的装置和用于发送比特流的装置
KR20190140387A (ko) * 2018-06-11 2019-12-19 에스케이텔레콤 주식회사 360도 영상의 인터 예측 방법 및 이를 이용한 영상 복호화 장치
WO2020007554A1 (en) * 2018-07-05 2020-01-09 Telefonaktiebolaget Lm Ericsson (Publ) Compact description of region-wise packing information
EP3606032B1 (en) * 2018-07-30 2020-10-21 Axis AB Method and camera system combining views from plurality of cameras
JP7290713B2 (ja) * 2018-08-28 2023-06-13 鴻穎創新有限公司 ビデオデータをコーディングする装置及び方法
KR20240145069A (ko) * 2018-09-11 2024-10-04 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 3차원 데이터 부호화 방법, 3차원 데이터 복호 방법, 3차원 데이터 부호화 장치, 및 3차원 데이터 복호 장치
EP3855740A4 (en) 2018-09-19 2022-09-28 Electronics and Telecommunications Research Institute METHOD AND DEVICE FOR ENCODING/DECODING IMAGES AND AND RECORDING MEDIUM WITH RECORDED BITSTREAM
KR20200056951A (ko) 2018-11-15 2020-05-25 한국전자통신연구원 지역 기반 화면간/화면내 예측 기술을 이용한 부호화/복호화 방법 및 장치
US10778977B2 (en) 2018-12-05 2020-09-15 Qualcomm Incorporated Triangle motion information for video coding
EP3868103A4 (en) * 2018-12-28 2022-03-23 Huawei Technologies Co., Ltd. APPARATUS AND METHODS FOR ENCODING AN IMAGE BY DIVIDING THE SAME INTO SLICES WITH TILES
PL4221213T3 (pl) * 2019-01-09 2024-11-18 Huawei Technologies Co., Ltd. Koder wideo, dekoder wideo i stosowne sposoby
CN113545087A (zh) 2019-03-11 2021-10-22 Oppo广东移动通信有限公司 预测值的确定方法、编码器以及计算机存储介质
US11240534B2 (en) * 2019-04-05 2022-02-01 Qualcomm Incorporated Extended multiple transform selection for video coding
CN110312130B (zh) * 2019-06-25 2021-10-15 浙江大华技术股份有限公司 基于三角模式的帧间预测、视频编码方法及设备
WO2021000277A1 (en) * 2019-07-03 2021-01-07 Beijing Xiaomi Mobile Software Co., Ltd. Method and device for coding, decoding and storage medium
GB2585645B (en) * 2019-07-08 2024-04-17 Toshiba Kk Computer vision method and system
PH12022550201A1 (en) 2019-07-26 2023-01-04 Beijing Bytedance Network Tech Co Ltd Determination of picture partition mode based on block size
WO2021026322A1 (en) 2019-08-06 2021-02-11 Op Solutions Block-based adaptive resolution management
CN114616826B (zh) 2019-08-06 2026-04-28 Op方案有限责任公司 基于帧类型的自适应分辨率管理的隐式标识
MX2022001592A (es) 2019-08-06 2022-03-11 Op Solutions Llc Método de gestión de resolución adaptativa para reajuste de predicción.
CN112434702A (zh) * 2019-08-26 2021-03-02 阿里巴巴集团控股有限公司 图像处理方法、装置、计算机设备、存储介质
WO2021060938A1 (ko) 2019-09-26 2021-04-01 현대자동차주식회사 360도 비디오 가상 경계의 인루프 필터를 제한하는 방법
CN114375580B (zh) * 2019-09-27 2025-07-25 松下电器（美国）知识产权公司 编码装置、解码装置、编码方法、解码方法和存储介质
KR20220092962A (ko) 2019-11-08 2022-07-04 오피 솔루션즈, 엘엘씨 적응적 크롭핑을 위한 방법들 및 시스템들
US12143601B2 (en) * 2019-12-05 2024-11-12 Hfi Innovation Inc. Specifying layout in video pictures
CN110784713B (zh) * 2019-12-14 2022-02-22 杭州当虹科技股份有限公司 一种可变有效图像尺寸的编码及解码方法
WO2021127118A1 (en) * 2019-12-17 2021-06-24 Alibaba Group Holding Limited Methods for performing wrap-around motion compensation
US11277626B2 (en) 2020-02-21 2022-03-15 Alibaba Group Holding Limited Region of interest quality controllable video coding techniques
US11388423B2 (en) 2020-03-23 2022-07-12 Alibaba Group Holding Limited Region-of-interest based video encoding
JP7767302B2 (ja) * 2020-04-14 2025-11-11 オーピー ソリューションズ， エルエルシー 参照領域を使用する映像符号化の方法及びシステム
CN113033511B (zh) * 2021-05-21 2021-08-10 中国科学院自动化研究所 一种基于操控解耦身份表示的人脸匿名方法
WO2023241690A1 (en) * 2022-06-16 2023-12-21 Douyin Vision (Beijing) Co., Ltd. Variable-rate neural network based compression
US12501076B2 (en) * 2022-08-26 2025-12-16 Tencent America LLC Systems and methods for warp sample selection and grouping
CN115546086B (zh) * 2022-10-20 2026-01-30 伟光有限公司 图像处理方法、装置、计算机可读存储介质及设备
CN115888110A (zh) * 2022-12-22 2023-04-04 网易（杭州）网络有限公司 一种运动时间预测方法、装置、计算机设备及存储介质
WO2026060701A1 (zh) * 2024-09-23 2026-03-26 Oppo广东移动通信有限公司 环路滤波方法、装置、存储介质及程序产品

Family Cites Families (181)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19648963C1 (de) * 1996-11-26 1998-04-30 Siemens Ag Verfahren zur Bildcodierung eines digitalisierten Bildes, Verfahren zur Bilddecodierung eines digitalisierten Bildes und Anordnung zur Durchführung der Verfahren
SE511514C2 (sv) * 1997-05-13 1999-10-11 Ericsson Telefon Ab L M Förfarande och anordning för bildkompression
KR100285599B1 (ko) * 1998-03-14 2001-04-02 전주범 격행 부호화에서의 움직임 추정을 위한 텍스쳐 패딩 장치 및그 패딩 방법
US6310919B1 (en) * 1998-05-07 2001-10-30 Sarnoff Corporation Method and apparatus for adaptively scaling motion vector information in an information stream decoder
US6590704B1 (en) * 1998-06-29 2003-07-08 Canon Kabushiki Kaisha Multi-eye image sensing apparatus
FR2811112B1 (fr) * 2000-06-28 2003-01-03 France Telecom Procede de codage d'une image source a visualisation adaptative, procede de decodage et decodeur correspondant
FR2818053B1 (fr) * 2000-12-07 2003-01-10 Thomson Multimedia Sa Procede et dispositif de codage pour l'affichage d'un zoom d'une image codee mpeg2
US20020075961A1 (en) 2000-12-19 2002-06-20 Philips Electronics North America Corporaton Frame-type dependent reduced complexity video decoding
US6754400B2 (en) 2001-02-06 2004-06-22 Richard Wilson, Jr. System and method for creation, processing and visualization of omni-directional images
AU2003279015A1 (en) * 2002-09-27 2004-04-19 Videosoft, Inc. Real-time video coding/decoding
US20040081238A1 (en) * 2002-10-25 2004-04-29 Manindra Parhy Asymmetric block shape modes for motion estimation
US7580578B1 (en) * 2003-02-03 2009-08-25 Canon Kabushiki Kaisha Method and device for forming a compressed transcoded digital image signal
JP2005065239A (ja) 2003-07-28 2005-03-10 Matsushita Electric Ind Co Ltd 動画像の復号化装置
EP1667457A4 (en) * 2003-09-16 2011-11-16 Fujitsu Semiconductor Ltd PICTURE PROCESSING DISPLAY DEVICE AND PICTURE PROCESSING DISPLAY METHOD
WO2005057935A2 (en) * 2003-12-09 2005-06-23 Koninklijke Philips Electronics, N.V. Spatial and snr scalable video coding
JP4542447B2 (ja) * 2005-02-18 2010-09-15 株式会社日立製作所 画像の符号化／復号化装置、符号化／復号化プログラム及び符号化／復号化方法
US7852916B2 (en) * 2004-06-27 2010-12-14 Apple Inc. Efficient use of storage in encoding and decoding video data streams
KR100688383B1 (ko) * 2004-08-13 2007-03-02 경희대학교 산학협력단 파노라마 영상의 움직임 추정 및 보상
US7623682B2 (en) * 2004-08-13 2009-11-24 Samsung Electronics Co., Ltd. Method and device for motion estimation and compensation for panorama image
KR100700218B1 (ko) * 2004-08-13 2007-03-27 경희대학교 산학협력단 파노라마 영상의 움직임 추정 및 보상을 위해 가상 영상영역을 생성하는 방법 및 장치
US8130827B2 (en) * 2004-08-13 2012-03-06 Samsung Electronics Co., Ltd. Method and apparatus for interpolating a reference pixel in an annular image and encoding/decoding an annular image
KR100677142B1 (ko) * 2004-08-13 2007-02-02 경희대학교 산학협력단 파노라마 영상의 움직임 추정 및 보상
KR100739686B1 (ko) 2004-08-13 2007-07-13 경희대학교 산학협력단 영상 코딩 방법, 코딩 장치, 영상 디코딩 방법 및 디코딩장치
US7876833B2 (en) * 2005-04-11 2011-01-25 Sharp Laboratories Of America, Inc. Method and apparatus for adaptive up-scaling for spatially scalable coding
CN1870748A (zh) * 2005-04-27 2006-11-29 王云川 因特网协议电视
JP4114885B2 (ja) * 2005-10-31 2008-07-09 松下電器産業株式会社 画像符号化装置、方法、及びプログラム
KR101330630B1 (ko) * 2006-03-13 2013-11-22 삼성전자주식회사 최적인 예측 모드를 적응적으로 적용하여 동영상을부호화하는 방법 및 장치, 동영상을 복호화하는 방법 및장치
JP4377887B2 (ja) * 2006-03-30 2009-12-02 株式会社東芝 映像分割装置
JP5389205B2 (ja) 2006-04-27 2014-01-15 キヤノン株式会社 画像符号化装置、画像符号化方法、プログラム及び記憶媒体
CN101227601B (zh) * 2007-01-15 2011-09-14 飞思卡尔半导体公司 在视频再现中进行几何变换的方法和设备
NZ579036A (en) * 2007-02-14 2012-10-26 Photint Venture Group Inc Video scrambling through relocation of pixel blocks
US8274530B2 (en) * 2007-03-12 2012-09-25 Conversion Works, Inc. Systems and methods for filling occluded information for 2-D to 3-D conversion
TW200837663A (en) * 2007-03-13 2008-09-16 Univ Nat Taiwan Constant picture quality bit rate control system for a multiple-video encoder in single video signal source and the method
KR101488548B1 (ko) * 2007-06-29 2015-02-02 톰슨 라이센싱 비디오 인덱싱 방법, 및 비디오 인덱싱 디바이스
KR20070103347A (ko) * 2007-10-03 2007-10-23 이제성 360도 파노라마 카메라의 영상컨텐츠를 이용한 고해상도광시야각 대형 디스플레이 방법
JP2009100041A (ja) * 2007-10-12 2009-05-07 Toshiba Corp 画像復号装置
US8699562B2 (en) 2008-10-06 2014-04-15 Lg Electronics Inc. Method and an apparatus for processing a video signal with blocks in direct or skip mode
EP2207356A1 (en) * 2008-10-06 2010-07-14 Lg Electronics Inc. Method and apparatus for video coding using large macroblocks
WO2010067668A1 (ja) * 2008-12-08 2010-06-17 シャープ株式会社 画像符号化装置及び画像復号装置
WO2010070897A1 (ja) * 2008-12-16 2010-06-24 パナソニック株式会社 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、プログラム、及び集積回路
CN105007492B (zh) 2009-10-01 2018-02-06 Sk电信有限公司 由视频解码装置执行的视频解码方法
US20120263811A1 (en) 2009-10-12 2012-10-18 Prashant Neminath Patil Herbal compositions improving lactation of farmed livestock
JP5562346B2 (ja) 2009-10-20 2014-07-30 シャープ株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法および動画像復号方法
KR20110061468A (ko) 2009-12-01 2011-06-09 (주)휴맥스 고해상도 영상의 부호화/복호화 방법 및 이를 수행하는 장치
KR101484280B1 (ko) * 2009-12-08 2015-01-20 삼성전자주식회사 임의적인 파티션을 이용한 움직임 예측에 따른 비디오 부호화 방법 및 장치, 임의적인 파티션을 이용한 움직임 보상에 따른 비디오 복호화 방법 및 장치
CN106101717B (zh) * 2010-01-12 2019-07-26 Lg电子株式会社 视频信号的处理方法和设备
RS63059B1 (sr) * 2010-04-13 2022-04-29 Ge Video Compression Llc Kodiranje videa primenom podele sa više stabala na slikama
KR101791078B1 (ko) * 2010-04-16 2017-10-30 에스케이텔레콤 주식회사 영상 부호화/복호화 장치 및 방법
LT2945382T (lt) * 2010-04-23 2017-09-11 M&K Holdings Inc. Aparatas, skirtas vaizdo kodavimui
MY191461A (en) * 2010-06-10 2022-06-28 Thomson Licensing Methods and apparatus for determining quantization parameter predictors from a plurality of neighboring quantization parameters
KR101292093B1 (ko) 2010-07-02 2013-08-08 (주)휴맥스 화면내 예측 부호화를 위한 영상 부호화/복호화 장치 및 방법
US9215470B2 (en) * 2010-07-09 2015-12-15 Qualcomm Incorporated Signaling selected directional transform for video coding
WO2012023817A2 (ko) * 2010-08-18 2012-02-23 에스케이텔레콤 주식회사 영상 부호화/복호화 장치 및 방법, 및 참조픽처 인덱싱 장치 및 방법
US9378185B2 (en) 2010-09-30 2016-06-28 Texas Instruments Incorporated Transform and quantization architecture for video coding and decoding
JP5485851B2 (ja) * 2010-09-30 2014-05-07 日本電信電話株式会社 映像符号化方法，映像復号方法，映像符号化装置，映像復号装置およびそれらのプログラム
EP2606646A1 (en) * 2010-10-01 2013-06-26 General Instrument Corporation Coding and decoding utilizing picture boundary padding in flexible partitioning
US8787459B2 (en) * 2010-11-09 2014-07-22 Sony Computer Entertainment Inc. Video coding methods and apparatus
CN101990104A (zh) * 2010-11-17 2011-03-23 中兴通讯股份有限公司 视频图像编码方法及装置
CN107071460B (zh) * 2010-12-14 2020-03-06 M&K控股株式会社 用于编码运动画面的设备
US20120170648A1 (en) * 2011-01-05 2012-07-05 Qualcomm Incorporated Frame splitting in video coding
CN104811711B (zh) 2011-01-06 2019-02-15 三星电子株式会社 视频的编码方法和装置及视频的解码方法和装置
US9049452B2 (en) * 2011-01-25 2015-06-02 Mediatek Singapore Pte. Ltd. Method and apparatus for compressing coding unit in high efficiency video coding
MY169660A (en) * 2011-02-10 2019-04-26 Velos Media Int Ltd Image processing device and image processing method
KR101164365B1 (ko) 2011-03-31 2012-07-09 박원일 차량용 영상 모니터링 장치의 4채널 화면 분할 방법
CN107623857B (zh) * 2011-04-12 2021-01-05 韩国电子通信研究院 视频编码/解码方法、设备以及生成和存储比特流的方法
US8750634B2 (en) * 2011-05-05 2014-06-10 Mitsubishi Electric Research Laboratories, Inc. Method for coding pictures using hierarchical transform units
US9532058B2 (en) 2011-06-03 2016-12-27 Qualcomm Incorporated Intra prediction mode coding with directional partitions
EP2533537A1 (en) * 2011-06-10 2012-12-12 Panasonic Corporation Transmission of picture size for image or video coding
JP2014168107A (ja) * 2011-06-24 2014-09-11 Mitsubishi Electric Corp 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
EP2728878B1 (en) * 2011-06-30 2020-02-19 Sun Patent Trust Image decoding method, image encoding method, image decoding device, image encoding device, and image encoding/decoding device
US9807426B2 (en) 2011-07-01 2017-10-31 Qualcomm Incorporated Applying non-square transforms to video data
US20140126645A1 (en) * 2011-07-01 2014-05-08 Electronics And Telecommunications Research Institute Video encoding and decoding methods and device using same
CN103733628A (zh) * 2011-08-08 2014-04-16 摩托罗拉移动有限责任公司 变换单元分割的残差树结构
US9787982B2 (en) * 2011-09-12 2017-10-10 Qualcomm Incorporated Non-square transform units and prediction units in video coding
US10075733B2 (en) * 2011-09-29 2018-09-11 Sharp Kabushiki Kaisha Image decoding device, image decoding method, and image encoding device
JP5972888B2 (ja) * 2011-09-29 2016-08-17 シャープ株式会社 画像復号装置、画像復号方法および画像符号化装置
JP2013098711A (ja) 2011-10-31 2013-05-20 Mitsubishi Electric Corp 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
US9807401B2 (en) 2011-11-01 2017-10-31 Qualcomm Incorporated Transform unit partitioning for chroma components in video coding
JP2013118424A (ja) * 2011-11-04 2013-06-13 Sharp Corp 画像復号装置、画像符号化装置、および符号化データのデータ構造
KR20130049526A (ko) * 2011-11-04 2013-05-14 오수미 복원 블록 생성 방법
BR112014011123B1 (pt) * 2011-11-08 2022-07-12 Kt Corporation Método de decodificação de vídeo realizado por um aparelho de decodificação
KR20140092910A (ko) * 2011-11-14 2014-07-24 도쿠리츠 교세이 호진 죠호 츠신 켄큐 키코 입체 영상 부호화 장치, 입체 영상 복호화 장치, 입체 영상 부호화 방법, 입체 영상 복호화 방법, 입체 영상 부호화 프로그램 및 입체 영상 복호화 프로그램
US9628789B2 (en) * 2011-11-18 2017-04-18 Qualcomm Incorporated Reference mode selection in intra mode coding
US9883203B2 (en) * 2011-11-18 2018-01-30 Qualcomm Incorporated Adaptive overlapped block motion compensation
US20130128971A1 (en) * 2011-11-23 2013-05-23 Qualcomm Incorporated Transforms in video coding
US20130163664A1 (en) * 2011-12-22 2013-06-27 Qualcomm Incorporated Unified partition mode table for intra-mode coding
CN107682704B (zh) * 2011-12-23 2020-04-17 韩国电子通信研究院 图像解码方法、图像编码方法和记录介质
US10805617B2 (en) 2012-01-19 2020-10-13 Texas Instruments Incorporated Scalable prediction type coding
SI2811745T1 (sl) * 2012-01-30 2018-12-31 Samsung Electronics Co., Ltd Postopek in naprava za kodiranje in dekodiranje videa na podlagi hierarhičnih podatkov, ki vsebuje napovedovanje kvantizacijskega parametra
EP2839434A4 (en) * 2012-04-19 2015-12-16 Thomson Licensing METHOD AND DEVICE FOR 3D MODEL COMPRESSION BASED ON REPETITIVE STRUCTURE DISCOVERY
JP2013229674A (ja) 2012-04-24 2013-11-07 Sharp Corp 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法、画像符号化プログラム、及び画像復号プログラム
JP6376719B2 (ja) * 2012-06-29 2018-08-22 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
CN104350745B (zh) * 2012-07-04 2018-12-11 英特尔公司 基于全景的3d视频译码
US9264713B2 (en) * 2012-07-11 2016-02-16 Qualcomm Incorporated Rotation of prediction residual blocks in video coding with transform skipping
US9549182B2 (en) * 2012-07-11 2017-01-17 Qualcomm Incorporated Repositioning of prediction residual blocks in video coding
KR20140019221A (ko) * 2012-07-17 2014-02-14 한국전자통신연구원 인루프 필터링 방법 및 이를 이용하는 장치
WO2014030920A1 (ko) * 2012-08-21 2014-02-27 삼성전자 주식회사 트리 구조의 부호화 단위에 기초한 예측 정보의 인터-레이어 비디오 부호화 방법 및 그 장치, 트리 구조의 부호화 단위에 기초한 예측 정보의 인터-레이어 비디오 복호화 방법 및 그 장치
US9319684B2 (en) * 2012-08-21 2016-04-19 Qualcomm Incorporated Alternative transform in scalable video coding
JP6787667B2 (ja) * 2012-09-21 2020-11-18 ノキア テクノロジーズ オサケユイチア ビデオコーディングのための方法と装置
AU2012232992A1 (en) * 2012-09-28 2014-04-17 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding the transform units of a coding unit
CN103780919B (zh) * 2012-10-23 2018-05-08 中兴通讯股份有限公司 一种实现多媒体播放的方法、移动终端及系统
EP2920969A4 (en) * 2012-11-13 2016-07-13 Intel Corp VIDEO CODEC ARCHITECTURE FOR VIDEOS OF THE NEXT GENERATION
KR20140087971A (ko) * 2012-12-26 2014-07-09 한국전자통신연구원 계층적 비디오 부호화에서 다중참조계층을 적용한 화면간 부／복호화 방법 및 그 장치
CN103079067B (zh) * 2013-01-09 2016-03-09 华为技术有限公司 运动矢量预测值列表构建方法和视频编解码方法及装置
WO2014120368A1 (en) * 2013-01-30 2014-08-07 Intel Corporation Content adaptive entropy coding for next generation video
US10284842B2 (en) 2013-03-05 2019-05-07 Qualcomm Incorporated Inter-layer reference picture construction for spatial scalability with different aspect ratios
JP5719401B2 (ja) * 2013-04-02 2015-05-20 日本電信電話株式会社 ブロックサイズ決定方法、映像符号化装置、及びプログラム
KR101835316B1 (ko) 2013-04-02 2018-03-08 주식회사 칩스앤미디어 동영상 처리 방법 및 장치
JP6269813B2 (ja) * 2013-04-08 2018-01-31 ソニー株式会社 Ｓｈｖｃでの注目領域スケーラビリティ
US9565437B2 (en) 2013-04-08 2017-02-07 Qualcomm Incorporated Parameter set designs for video coding extensions
WO2014176362A1 (en) * 2013-04-23 2014-10-30 Qualcomm Incorporated Repositioning of prediction residual blocks in video coding
US10009621B2 (en) * 2013-05-31 2018-06-26 Qualcomm Incorporated Advanced depth inter coding based on disparity of depth blocks
US11323747B2 (en) * 2013-06-05 2022-05-03 Qualcomm Incorporated Residual differential pulse code modulation (DPCM) extensions and harmonization with transform skip, rotation, and scans
JP6224930B2 (ja) 2013-07-10 2017-11-01 シャープ株式会社 画像復号装置、画像復号方法および画像符号化装置
GB2516224A (en) 2013-07-11 2015-01-21 Nokia Corp An apparatus, a method and a computer program for video coding and decoding
JP6614472B2 (ja) * 2013-09-30 2019-12-04 サン パテント トラスト 画像符号化方法、画像復号方法、画像符号化装置及び画像復号装置
WO2015053330A1 (ja) * 2013-10-10 2015-04-16 シャープ株式会社 画像復号装置
FR3014278A1 (fr) * 2013-11-29 2015-06-05 Orange Procede de codage et de decodage d'images, dispositif de codage et de decodage d'images et programmes d'ordinateur correspondants
KR20150068299A (ko) * 2013-12-09 2015-06-19 씨제이씨지브이 주식회사 다면 영상 생성 방법 및 시스템
KR101609427B1 (ko) * 2013-12-17 2016-04-20 세종대학교산학협력단 영상의 복호화/부호화 방법 및 장치
KR101789954B1 (ko) * 2013-12-27 2017-10-25 인텔 코포레이션 차세대 비디오 코딩을 위한 콘텐츠 적응적 이득 보상된 예측
WO2015100732A1 (en) * 2014-01-03 2015-07-09 Mediatek Singapore Pte. Ltd. A padding method for intra block copying
WO2015104963A1 (ja) 2014-01-09 2015-07-16 株式会社日立国際電気 画像処理装置及び動画像伝送方法
CN106105208B (zh) * 2014-01-09 2020-04-07 三星电子株式会社 可伸缩视频编码/解码方法和设备
US9906804B2 (en) * 2014-01-16 2018-02-27 Qualcomm Incorporated Reference layer sample position derivation for scalable video coding
US20150237351A1 (en) * 2014-02-18 2015-08-20 Penne Lee Techniques for inclusion of region of interest indications in compressed video data
CN104935945B (zh) * 2014-03-18 2019-11-08 上海天荷电子信息有限公司 扩展参考像素样值集的图像编码或解码方法
US10477232B2 (en) 2014-03-21 2019-11-12 Qualcomm Incorporated Search region determination for intra block copy in video coding
CN106170980A (zh) * 2014-04-25 2016-11-30 夏普株式会社 图像解码装置、图像编码装置以及编码数据变换装置
US9443281B2 (en) * 2014-06-27 2016-09-13 Intel Corporation Pixel-based warping and scaling accelerator
KR101663668B1 (ko) * 2014-06-27 2016-10-07 삼성전자주식회사 영상 패딩영역의 비디오 복호화 및 부호화 장치 및 방법
US10204658B2 (en) 2014-07-14 2019-02-12 Sony Interactive Entertainment Inc. System and method for use in playing back panorama video content
CN105392008B (zh) * 2014-08-22 2018-09-25 中兴通讯股份有限公司 一种预测编、解码方法和相应的编、解码器和电子设备
KR20160032909A (ko) * 2014-09-17 2016-03-25 한화테크윈 주식회사 멀티 영상 전처리 장치 및 방법
US10091530B2 (en) 2014-10-01 2018-10-02 Qualcomm Incorporated Pipelined intra-prediction hardware architecture for video coding
WO2016056822A1 (ko) * 2014-10-08 2016-04-14 엘지전자 주식회사 3d 비디오 코딩 방법 및 장치
CN108307192A (zh) 2014-10-11 2018-07-20 华为技术有限公司 预测块的划分方法、编码设备和解码设备
US10104361B2 (en) * 2014-11-14 2018-10-16 Samsung Electronics Co., Ltd. Coding of 360 degree videos using region adaptive smoothing
WO2016090568A1 (en) * 2014-12-10 2016-06-16 Mediatek Singapore Pte. Ltd. Binary tree block partitioning structure
US10306229B2 (en) * 2015-01-26 2019-05-28 Qualcomm Incorporated Enhanced multiple transforms for prediction residual
US10070130B2 (en) * 2015-01-30 2018-09-04 Qualcomm Incorporated Flexible partitioning of prediction units
EP3266212A4 (en) * 2015-03-20 2018-08-01 MediaTek Singapore Pte Ltd. Methods of palette coding with inter-prediction in video coding
CN108293136B (zh) * 2015-09-23 2022-12-30 诺基亚技术有限公司 编码360度全景视频的方法、装置和计算机可读存储介质
US10218975B2 (en) 2015-09-29 2019-02-26 Qualcomm Incorporated Transform precision manipulation in video coding
US20170150176A1 (en) * 2015-11-25 2017-05-25 Qualcomm Incorporated Linear-model prediction with non-square prediction units in video coding
US10212444B2 (en) * 2016-01-15 2019-02-19 Qualcomm Incorporated Multi-type-tree framework for video coding
CN105554506B (zh) * 2016-01-19 2018-05-29 北京大学深圳研究生院 基于多方式边界填充的全景视频编码、解码方法和装置
US20170214937A1 (en) 2016-01-22 2017-07-27 Mediatek Inc. Apparatus of Inter Prediction for Spherical Images and Cubic Images
US20170244964A1 (en) * 2016-02-23 2017-08-24 Mediatek Inc. Method and Apparatus of Flexible Block Partition for Video Coding
US11223852B2 (en) * 2016-03-21 2022-01-11 Qualcomm Incorporated Coding video data using a two-level multi-type-tree framework
US10623774B2 (en) * 2016-03-22 2020-04-14 Qualcomm Incorporated Constrained block-level optimization and signaling for video coding tools
FI20165256A7 (fi) * 2016-03-24 2017-09-25 Nokia Technologies Oy Laitteisto, menetelmä ja tietokoneohjelma videokoodaukseen ja -dekoodaukseen
EP3453181B1 (en) * 2016-05-04 2025-10-29 Sharp Kabushiki Kaisha Methods and apparatuses for coding transform data
US11184624B2 (en) * 2016-05-19 2021-11-23 Qualcomm Incorporated Regional random access in pictures
US11019257B2 (en) * 2016-05-19 2021-05-25 Avago Technologies International Sales Pte. Limited 360 degree video capture and playback
EP3466079B1 (en) 2016-05-24 2023-07-12 Nokia Technologies Oy Method and an apparatus and a computer program for encoding media content
US10565463B2 (en) * 2016-05-24 2020-02-18 Qualcomm Incorporated Advanced signaling of a most-interested region in an image
US20170353737A1 (en) 2016-06-07 2017-12-07 Mediatek Inc. Method and Apparatus of Boundary Padding for VR Video Processing
KR20180000279A (ko) * 2016-06-21 2018-01-02 주식회사 픽스트리 부호화 장치 및 방법, 복호화 장치 및 방법
FI20165547A1 (fi) 2016-06-30 2018-12-31 Nokia Technologies Oy Laitteisto, menetelmä ja tietokoneohjelma videokoodausta ja videokoodauksen purkua varten
KR102882879B1 (ko) * 2016-07-08 2025-11-06 인터디지털 브이씨 홀딩스 인코포레이티드 지오메트리 투영을 이용한 360도 비디오 코딩
US10375371B2 (en) * 2016-07-15 2019-08-06 Mediatek Inc. Method and apparatus for filtering 360-degree video boundaries
US10771791B2 (en) * 2016-08-08 2020-09-08 Mediatek Inc. View-independent decoding for omnidirectional video
US20180054613A1 (en) * 2016-08-22 2018-02-22 Mediatek Inc. Video encoding method and apparatus with in-loop filtering process not applied to reconstructed blocks located at image content discontinuity edge and associated video decoding method and apparatus
US10609423B2 (en) * 2016-09-07 2020-03-31 Qualcomm Incorporated Tree-type coding for video coding
CN118945345A (zh) * 2016-10-04 2024-11-12 有限公司B1影像技术研究所 图像编码/解码方法、介质和传输比特流的方法
JP7224280B6 (ja) 2016-10-04 2026-02-17 ビー１、インスティテュート、オブ、イメージ、テクノロジー、インコーポレイテッド 画像データ符号化／復号化方法及び装置
ES2988737T3 (es) 2016-10-04 2024-11-21 B1 Institute Image Technology Inc Procedimiento y aparato de codificación/decodificación de datos de imagen
KR20250004171A (ko) * 2016-10-04 2025-01-07 주식회사 비원영상기술연구소 영상 데이터 부호화/복호화 방법 및 장치
KR102840589B1 (ko) * 2016-10-17 2025-07-30 에스케이텔레콤 주식회사 영상 부호화 또는 복호화하기 위한 장치 및 방법
KR102498598B1 (ko) * 2016-10-18 2023-02-14 삼성전자주식회사 영상 처리 장치 및 그 영상 처리 방법
KR101808327B1 (ko) * 2017-03-08 2017-12-13 광운대학교 산학협력단 영상 코덱에서 패딩을 이용한 영상 부/복호화 방법 및 장치
EP3383043A1 (en) * 2017-03-27 2018-10-03 Thomson Licensing Methods and apparatus for picture encoding and decoding
CN110999291B (zh) * 2017-08-03 2023-09-26 夏普株式会社 用于划分视频数据的帧间预测片段中的视频块的系统和方法
WO2019059679A1 (ko) * 2017-09-20 2019-03-28 주식회사 케이티 비디오 신호 처리 방법 및 장치
WO2020138391A1 (ja) 2018-12-28 2020-07-02 ナブテスコオートモーティブ株式会社 空気供給システム
JP7761260B2 (ja) 2021-10-29 2025-10-28 不動技研株式会社 組立ラック
JP7593658B2 (ja) 2022-06-13 2024-12-03 灰孝小野田レミコン株式会社 再生骨材
JP2023181961A (ja) 2022-06-13 2023-12-25 株式会社あかつき 情報処理システム、情報処理装置、情報処理プログラム及び情報処理方法
JP7345032B1 (ja) 2022-09-16 2023-09-14 ラクテン アジア プライベート リミテッド 与信審査装置、方法及びプログラム
JP7677295B2 (ja) 2022-09-16 2025-05-15 トヨタ自動車株式会社 造粒粒子

Also Published As

Publication number Publication date
EP4432662A2 (en) 2024-09-18
EP4436181A3 (en) 2024-11-27
US20260122356A1 (en) 2026-04-30
US20240163561A1 (en) 2024-05-16
AU2022228372A1 (en) 2022-10-06
CN114531592A (zh) 2022-05-24
AU2024204670B2 (en) 2025-12-04
US20220060621A1 (en) 2022-02-24
AU2024203652A1 (en) 2024-06-20
FI3975559T3 (fi) 2024-09-13
HUE068266T2 (hu) 2024-12-28
CN120980213A (zh) 2025-11-18
EP4432664A2 (en) 2024-09-18
CN110024408B (zh) 2022-06-24
AU2025205604A1 (en) 2025-08-07
EP4589955A3 (en) 2025-10-22
CN114531593A (zh) 2022-05-24
AU2025203560A1 (en) 2025-06-05
US11539881B2 (en) 2022-12-27
CN114245119A (zh) 2022-03-25
CN121037557A (zh) 2025-11-28
AU2026200871A1 (en) 2026-02-26
CN114245119B (zh) 2022-11-22
CN120980216A (zh) 2025-11-18
EP3800891A1 (en) 2021-04-07
US20250168513A1 (en) 2025-05-22
US20220385812A1 (en) 2022-12-01
AU2025203573A9 (en) 2026-03-12
AU2026202421A1 (en) 2026-04-16
CN114531590A (zh) 2022-05-24
AU2024203652B2 (en) 2025-10-30
AU2025203561A1 (en) 2025-06-05
EP4432669A3 (en) 2024-11-20
US20250193529A1 (en) 2025-06-12
AU2024202565B2 (en) 2025-08-28
AU2025203567A1 (en) 2025-06-05
US20230254587A1 (en) 2023-08-10
EP4432667A3 (en) 2024-11-20
US20240073534A1 (en) 2024-02-29
CN121037556A (zh) 2025-11-28
AU2022229691A1 (en) 2022-10-06
AU2025205606A1 (en) 2025-08-07
US20230082621A1 (en) 2023-03-16
EP4510586B1 (en) 2026-04-01
EP4589955A2 (en) 2025-07-23
CN120915939A (zh) 2025-11-07
US12262122B2 (en) 2025-03-25
US20260095666A1 (en) 2026-04-02
AU2024202566A1 (en) 2024-05-09
EP4447452A3 (en) 2024-11-27
EP4492794A3 (en) 2025-04-02
CN114531591B (zh) 2023-01-03
US20260095661A1 (en) 2026-04-02
AU2025205603A1 (en) 2025-08-07
US20240406565A1 (en) 2024-12-05
US20240406567A1 (en) 2024-12-05
JP2024157019A (ja) 2024-11-06
EP4436182A3 (en) 2024-11-20
AU2017340007A1 (en) 2019-05-30
CN120980214A (zh) 2025-11-18
AU2024202565A1 (en) 2024-05-09
AU2024278175A1 (en) 2025-01-02
EP4432668A3 (en) 2024-11-20
US20260095668A1 (en) 2026-04-02
US20260095664A1 (en) 2026-04-02
CN114245120B (zh) 2023-03-21
US20250330715A1 (en) 2025-10-23
EP3975559A1 (en) 2022-03-30
US20260095658A1 (en) 2026-04-02
KR20190053256A (ko) 2019-05-17
US11533429B2 (en) 2022-12-20
US20260006335A1 (en) 2026-01-01
US20250097583A1 (en) 2025-03-20
SI4387232T1 (sl) 2026-03-31
AU2024266791A1 (en) 2024-12-12
AU2023258329B2 (en) 2025-04-10
CN114143550A (zh) 2022-03-04
AU2022228227A1 (en) 2022-10-06
CN120980221A (zh) 2025-11-18
EP4432668A2 (en) 2024-09-18
CN120980233A (zh) 2025-11-18
CN120980220A (zh) 2025-11-18
CN115022624A (zh) 2022-09-06
US12096127B2 (en) 2024-09-17
EP4447454A2 (en) 2024-10-16
AU2025203567A9 (en) 2026-03-12
US20240348929A1 (en) 2024-10-17
AU2022228228B2 (en) 2023-10-19
EP4485936A3 (en) 2025-04-02
CN114143550B (zh) 2022-11-29
AU2024204676A1 (en) 2024-07-25
EP4436181A2 (en) 2024-09-25
AU2025203570A9 (en) 2026-03-12
AU2025203565A1 (en) 2025-06-05
US20250097584A1 (en) 2025-03-20
LT3975559T (lt) 2024-11-11
SI3975559T1 (sl) 2024-11-29
EP4387232A3 (en) 2024-08-21
KR20240051312A (ko) 2024-04-19
CN110024408A (zh) 2019-07-16
AU2026200873A1 (en) 2026-02-26
AU2023214315A1 (en) 2023-08-31
AU2023214311B2 (en) 2024-02-22
AU2022229691B2 (en) 2023-10-19
US20240155243A1 (en) 2024-05-09
AU2024203648A1 (en) 2024-06-20
AU2025203562A9 (en) 2026-03-12
CN120980215A (zh) 2025-11-18
PL4507308T3 (pl) 2026-04-20
US20190230285A1 (en) 2019-07-25
US20260095659A1 (en) 2026-04-02
US20250330714A1 (en) 2025-10-23
WO2018066988A1 (ko) 2018-04-12
AU2024202570A1 (en) 2024-05-09
AU2023258327A1 (en) 2023-11-16
CN120980227A (zh) 2025-11-18
US20230328385A1 (en) 2023-10-12
SMT202600095T1 (it) 2026-03-09
SMT202400379T1 (it) 2024-11-15
EP4432663A2 (en) 2024-09-18
AU2026202422A1 (en) 2026-04-16
EP4637157A2 (en) 2025-10-22
AU2024203643A1 (en) 2024-06-20
PL4387232T3 (pl) 2026-04-20
DK4507308T3 (da) 2026-02-23
EP4447453A2 (en) 2024-10-16
AU2024203650B2 (en) 2025-10-30
US20240334064A1 (en) 2024-10-03
US12513405B2 (en) 2025-12-30
US11706531B2 (en) 2023-07-18
EP4432667A2 (en) 2024-09-18
EP4507308B1 (en) 2026-01-21
US12615440B2 (en) 2026-04-28
AU2025205601A1 (en) 2025-08-07
CN120835139A (zh) 2025-10-24
US20240107171A1 (en) 2024-03-28
EP4637156A2 (en) 2025-10-22
US20220394179A1 (en) 2022-12-08
US12483794B2 (en) 2025-11-25
EP4290864A2 (en) 2023-12-13
EP4637158A3 (en) 2026-01-07
AU2025203566A1 (en) 2025-06-05
EP4601292A3 (en) 2025-10-22
US12506969B2 (en) 2025-12-23
AU2026201698A1 (en) 2026-03-26
EP4432669A2 (en) 2024-09-18
FI4387232T3 (fi) 2026-02-24
KR20260019017A (ko) 2026-02-09
EP4507308A1 (en) 2025-02-12
US20240357238A1 (en) 2024-10-24
EP4701194A3 (en) 2026-04-01
EP4637156A3 (en) 2025-12-31
EP4601293A2 (en) 2025-08-13
ES3063576T3 (en) 2026-04-17
CN120812247A (zh) 2025-10-17
CN121037558A (zh) 2025-11-28
EP4701194A2 (en) 2026-02-25
US20240334063A1 (en) 2024-10-03
EP4637159A2 (en) 2025-10-22
AU2024202567A1 (en) 2024-05-09
US11910094B2 (en) 2024-02-20
US20260095667A1 (en) 2026-04-02
US20230328384A1 (en) 2023-10-12
AU2023214311A1 (en) 2023-08-31
AU2024204675A1 (en) 2024-07-25
AU2024201785A1 (en) 2024-04-04
US20250193527A1 (en) 2025-06-12
DK4387232T3 (da) 2026-02-09
AU2023258329A1 (en) 2023-11-23
EP3525468A1 (en) 2019-08-14
US20240340539A1 (en) 2024-10-10
KR20240051313A (ko) 2024-04-19
CN120881272A (zh) 2025-10-31
CN114245118B (zh) 2023-03-28
EP4589954A3 (en) 2025-10-22
LT4387232T (lt) 2026-02-10
CN115022622A (zh) 2022-09-06
CN120980217A (zh) 2025-11-18
CN120980226A (zh) 2025-11-18
KR20240051314A (ko) 2024-04-19
US20260095671A1 (en) 2026-04-02
AU2024201779A1 (en) 2024-04-04
JP7826391B2 (ja) 2026-03-09
US20260095662A1 (en) 2026-04-02
PL3975559T3 (pl) 2024-12-23
EP4432665A2 (en) 2024-09-18
AU2024201786A1 (en) 2024-04-04
AU2025203562A1 (en) 2025-06-05
AU2023258327B2 (en) 2025-02-13
US12015854B2 (en) 2024-06-18
AU2024201786B2 (en) 2025-08-28
CN114257809B (zh) 2023-03-24
EP3975559B1 (en) 2024-08-14
FI4507308T3 (fi) 2026-03-11
AU2023214314B2 (en) 2024-02-29
US20250330713A1 (en) 2025-10-23
CN120825573A (zh) 2025-10-21
US20240334062A1 (en) 2024-10-03
CN120980218A (zh) 2025-11-18
ES3063312T3 (en) 2026-04-16
EP4432664A3 (en) 2024-11-20
AU2025205385A1 (en) 2025-07-31
CN120812245A (zh) 2025-10-17
US12389123B2 (en) 2025-08-12
US12556825B2 (en) 2026-02-17
US20250338022A1 (en) 2025-10-30
CN120980216B (zh) 2026-04-21
AU2024202568B2 (en) 2025-08-28
AU2025203573A1 (en) 2025-06-05
CN114245120A (zh) 2022-03-25
KR102413345B1 (ko) 2022-06-27
US12489979B2 (en) 2025-12-02
AU2025203558A1 (en) 2025-06-05
AU2023214314A1 (en) 2023-08-31
AU2024204670A1 (en) 2024-07-25
CN115022625A (zh) 2022-09-06
AU2024213157A1 (en) 2024-09-12
AU2021266245A1 (en) 2021-12-02
AU2024204676B2 (en) 2025-12-04
US20250338023A1 (en) 2025-10-30
US20250392823A1 (en) 2025-12-25
CN120825573B (zh) 2026-03-03
EP4387232B1 (en) 2025-12-10
EP4492794A2 (en) 2025-01-15
AU2024202566B2 (en) 2025-08-28
PT3975559T (pt) 2024-09-25
EP4589953A2 (en) 2025-07-23
KR20240051311A (ko) 2024-04-19
US20210084222A1 (en) 2021-03-18
EP4510587A1 (en) 2025-02-19
US20240406568A1 (en) 2024-12-05
KR20260021084A (ko) 2026-02-12
US20240406570A1 (en) 2024-12-05
KR20200060546A (ko) 2020-05-29
US20230412927A1 (en) 2023-12-21
US20250330716A1 (en) 2025-10-23
AU2024202570B2 (en) 2025-08-28
EP4485936A2 (en) 2025-01-01
FI4510587T3 (fi) 2026-03-05
EP4436180A2 (en) 2024-09-25
EP4432662A3 (en) 2024-11-20
AU2026202437A1 (en) 2026-04-16
US20240430576A1 (en) 2024-12-26
AU2024203636A1 (en) 2024-06-20
US20260095670A1 (en) 2026-04-02
KR20260019016A (ko) 2026-02-09
EP4432666A2 (en) 2024-09-18
HRP20241313T1 (hr) 2024-12-20
US20210218889A1 (en) 2021-07-15
ES2988737T3 (es) 2024-11-21
EP4601292A2 (en) 2025-08-13
AU2024204674A1 (en) 2024-07-25
ES3063575T3 (en) 2026-04-17
HRP20260082T1 (hr) 2026-03-13
US20230388647A1 (en) 2023-11-30
US12256149B2 (en) 2025-03-18
US20240073535A1 (en) 2024-02-29
US12506968B2 (en) 2025-12-23
CN120980229A (zh) 2025-11-18
US20260006337A1 (en) 2026-01-01
AU2024202568A1 (en) 2024-05-09
CN120980231A (zh) 2025-11-18
AU2023214313A1 (en) 2023-08-31
US20250330717A1 (en) 2025-10-23
PT4510587T (pt) 2026-03-09
EP4489395A1 (en) 2025-01-08
EP4589954A2 (en) 2025-07-23
EP4447453A3 (en) 2024-11-27
AU2023214310B2 (en) 2024-02-22
EP4456536A3 (en) 2024-11-27
EP4447452A2 (en) 2024-10-16
CN114531589B (zh) 2023-03-24
CN120980225A (zh) 2025-11-18
CN120980223A (zh) 2025-11-18
US20260095660A1 (en) 2026-04-02
CN120812248A (zh) 2025-10-17
CN120980222A (zh) 2025-11-18
AU2026200870A1 (en) 2026-02-26
AU2023214310A1 (en) 2023-08-31
KR102801971B1 (ko) 2025-04-30
AU2024201779B2 (en) 2025-08-07
KR102656936B1 (ko) 2024-04-12
EP4432670A2 (en) 2024-09-18
EP4589956A2 (en) 2025-07-23
AU2021266245B2 (en) 2022-08-11
AU2024204675B2 (en) 2025-12-04
CN120980224A (zh) 2025-11-18
US20240406566A1 (en) 2024-12-05
US20250097586A1 (en) 2025-03-20
EP4436180A3 (en) 2024-11-20
AU2025205381A1 (en) 2025-07-31
US20220385813A1 (en) 2022-12-01
US20250193526A1 (en) 2025-06-12
AU2024203636B2 (en) 2025-10-23
US20260032349A1 (en) 2026-01-29
EP4601293A3 (en) 2025-10-22
CN120980219A (zh) 2025-11-18
AU2024203643B2 (en) 2025-10-23
EP4601295A2 (en) 2025-08-13
US20250338021A1 (en) 2025-10-30
US11202005B2 (en) 2021-12-14
US12108158B2 (en) 2024-10-01
AU2025203565A9 (en) 2026-03-12
CN114531593B (zh) 2023-03-21
CN120980230A (zh) 2025-11-18
US20240365007A1 (en) 2024-10-31
EP4432670A3 (en) 2024-11-20
CN120980228A (zh) 2025-11-18
US11606499B2 (en) 2023-03-14
US12212854B2 (en) 2025-01-28
EP4224854A1 (en) 2023-08-09
US12464244B2 (en) 2025-11-04
EP4432665A3 (en) 2024-11-20
PT4507308T (pt) 2026-03-10
AU2025203560A9 (en) 2026-03-12
AU2024201782A1 (en) 2024-04-04
AU2025203570A1 (en) 2025-06-05
CN114531591A (zh) 2022-05-24
AU2023214313B2 (en) 2024-02-29
US20260025587A1 (en) 2026-01-22
US12520046B2 (en) 2026-01-06
DK4510587T3 (da) 2026-02-16
CN120980234A (zh) 2025-11-18
EP4637158A2 (en) 2025-10-22
AU2025205382A1 (en) 2025-07-31
US11792525B2 (en) 2023-10-17
US11843866B2 (en) 2023-12-12
EP4589953A3 (en) 2025-10-22
PT4387232T (pt) 2026-02-13
CN120812249A (zh) 2025-10-17
EP4290864A3 (en) 2024-03-13
EP4387232A2 (en) 2024-06-19
US11546513B2 (en) 2023-01-03
EP4601295A3 (en) 2025-10-22
EP4432666A3 (en) 2024-11-20
EP4601294A3 (en) 2025-10-22
US20220210325A1 (en) 2022-06-30
EP4601294A2 (en) 2025-08-13
AU2022228372B2 (en) 2023-10-19
US11792526B1 (en) 2023-10-17
US12501167B2 (en) 2025-12-16
US11539883B2 (en) 2022-12-27
US20220053128A1 (en) 2022-02-17
CN114245118A (zh) 2022-03-25
US20240357239A1 (en) 2024-10-24
AU2024203648B2 (en) 2025-10-30
AU2022228228A1 (en) 2022-10-06
US20250097585A1 (en) 2025-03-20
EP3525468A4 (en) 2020-05-27
AU2017340007B2 (en) 2022-09-08
AU2026200869A1 (en) 2026-02-26
KR20230062686A (ko) 2023-05-09
AU2024202567B2 (en) 2025-08-28
US12556824B2 (en) 2026-02-17
KR20240049654A (ko) 2024-04-16
US20240334065A1 (en) 2024-10-03
AU2025205377A1 (en) 2025-07-31
EP4637159A3 (en) 2026-01-07
US20260006336A1 (en) 2026-01-01
EP4510586A1 (en) 2025-02-19
EP4510587B1 (en) 2026-01-21
CN114257809A (zh) 2022-03-29
CN115022626B (zh) 2026-02-24
KR20220093264A (ko) 2022-07-05
AU2023214315B2 (en) 2024-03-07
KR102529712B1 (ko) 2023-05-08
AU2025203561A9 (en) 2026-03-12
AU2024204674B2 (en) 2025-12-04
US20250338024A1 (en) 2025-10-30
AU2026202420A1 (en) 2026-04-16
CN115022623A (zh) 2022-09-06
US11412137B2 (en) 2022-08-09
EP4456536A2 (en) 2024-10-30
RS67765B1 (sr) 2026-03-31
AU2025205376A1 (en) 2025-07-31
AU2025203558A9 (en) 2026-03-12
AU2024201782B2 (en) 2025-08-07
EP4436182A2 (en) 2024-09-25
US20240073536A1 (en) 2024-02-29
AU2024203650A1 (en) 2024-06-20
CN115022626A (zh) 2022-09-06
CN120812250A (zh) 2025-10-17
DK3975559T3 (da) 2024-09-30
CN120812246A (zh) 2025-10-17
US20240406569A1 (en) 2024-12-05
US20230254586A1 (en) 2023-08-10
CN120980232A (zh) 2025-11-18
EP4432663A3 (en) 2024-11-20
EP4589956A3 (en) 2025-10-22
AU2024201785B2 (en) 2025-07-31
EP4447454A3 (en) 2025-01-08
AU2026200872A1 (en) 2026-02-26
CN114531589A (zh) 2022-05-24
US20250097587A1 (en) 2025-03-20
US20240334066A1 (en) 2024-10-03
AU2022228227B2 (en) 2023-10-19
EP4637157A3 (en) 2026-01-07
KR20260019659A (ko) 2026-02-10
US20250373951A1 (en) 2025-12-04

Similar Documents

Publication Publication Date Title
EP3975559B1 (en) Image data encoding/decoding method and apparatus
HK40116497A (en) Image data encoding/decoding method and apparatus
HK40116499A (en) Image data encoding/decoding method and apparatus
HK40116500A (en) Image data encoding/decoding method and apparatus
HK40116496A (en) Image data encoding/decoding method and apparatus
HK40116489A (en) Image data encoding/decoding method and apparatus
HK40116493A (en) Image data encoding/decoding method and apparatus
HK40116491A (en) Image data encoding/decoding method and apparatus
HK40116494A (en) Image data encoding/decoding method and apparatus
HK40116490A (en) Image data encoding/decoding method and apparatus
HK40116495A (en) Image data encoding/decoding method and apparatus
HK40130845A (en) Image data encoding/decoding method and apparatus
HK40116394A (en) Image data encoding/decoding method and apparatus
HK40116492A (en) Image data encoding/decoding method and apparatus
HK40116498A (en) Image data encoding/decoding method and apparatus
HK40116395A (en) Image data encoding/decoding method and apparatus
HK40115861A (en) Image data encoding/decoding method and apparatus
HK40115858A (en) Image data encoding/decoding method and apparatus