ITUA20163652A1

ITUA20163652A1 - Metodo per la codifica e decodifica di immagini hdr

Info

Publication number: ITUA20163652A1
Application number: ITUA2016A003652A
Authority: IT
Inventors: Massimiliano Agostinelli
Original assignee: Trellis Europe S R L; Massimiliano Agostinelli
Priority date: 2016-05-20
Filing date: 2016-05-20
Publication date: 2017-11-20
Also published as: US20190208218A1; CN109565589A; WO2017199210A1; US10848774B2

Description

METODO PER LA CODIFICA E DECODIFICA DI IMMAGINI HDR

DESCRIZIONE

CAMPO TECNICO

La presente invenzione si riferisce ai metodi per codificare e decodificare immagini e video.

In particolare, l’invenzione si riferisce a metodi, programmi per computer ed apparecchiature in grado di codificare e decodificare immagini HDR.

STATO DELL'ARTE

Dalle prime fotografie in digitale ad oggi la tecnologia ha fatto notevoli passi avanti. Al giorno d’oggi anche dispositivi di larga diffusione, come gli i-phone 6 permettono di scattare fotografie HDR (dall’acronimo inglese High Dynamic Range) che presentano una gamma di colori molto maggiore rispetto alle tradizionali immagini a 8 bit (anche dette immagini LDR o Low Dynamic range).

Mentre le immagini LDR rappresentano ciascun colore (Rosso, Giallo o Blu) con 8 bit, e permettono dunque di prevedere 256 diverse sfumature del colore, nel caso delle immagini HDR i colori sono generalmente rappresentati in virgola mobile, solitamente utilizzando 16 o più bit, per avere maggior risoluzione. La rappresentazione in virgola mobile, infatti, consente di ottenere un numero di sfumature eccezionalmente maggiore rispetto alle 256 previste per le immagini a 8 bit.

Per permettere la compressione di immagini HDR utilizzando i tradizionali codec JPEG o MPEG, in letteratura sono stati presentati diversi metodi che prevedono di aggiungere delle fasi di pre-processing dell’immagine HDR al fine di ottenere una compressione soddisfacente in fase di codifica ed al tempo stesso ne permettano una ricostruzione fedele in fase di decodifica.

Il brevetto americano US 8.462.194 descrive diversi metodi di elaborazione di immagini HDR, che prevedono la generazione di un'immagine a bassa gamma dinamica (LDR) mediante clamping dell'immagine HDR. Uno dei metodi descritti in US 8.462.194 prevede di generare anche un’immagine (chiamata FC-frame) ottenuta dividendo ciascun componente RGB dell'immagine LDR per un rispettivo componente RGB dell'immagine HDR originale. Sia l'immagine LDR che l’ FC-Frame vengono codificati separatamente mediante codec MPEG. In questo modo un file di dati che trasporta l'immagine LDR e l’FC-frame può essere decodificato sia da un decodificatore convenzionale (che decodificherà solo l'immagine LDR), sia da un nuovo decodificatore che, utilizzando l’FC-frame e l’immagine LDR, sarà in grado di ricostruire l'immagine HDR.

Sebbene efficace, il metodo noto da US 8.462.194 funziona bene solo se l'immagine LDR è ottenuta mediante clamping dell'immagine HDR. Se l'immagine LDR è ottenuta in un modo diverso, il metodo potrebbe non funzionare correttamente.

Inoltre, i metodi noti da US 8.462.194 sono di tipo lossy, ossia non prevedono alcuno strumento di controllo dell’errore dovuto al passaggio da 16 (o più) bit a 8 bit. L’immagine HDR ricostruita potrebbe, dunque, non essere fedele all’originale.

SCOPI E RIASSUNTO DELL'INVENZIONE

E’ scopo della presente invenzione superare gli inconvenienti dell'arte nota.

In particolare, è scopo della presente invenzione presentare un metodo che permetta una compressione e decompressione efficace di immagini HDR.

Questi ed ulteriori scopi della presente invenzione sono raggiunti mediante metodi di codifica e decodifica che incorporano le caratteristiche delle rivendicazioni allegate, le quali formano parte integrante della presente descrizione.

In una forma di realizzazione l’invenzione è un metodo per codificare immagini HDR, del tipo in cui l’immagine HDR viene codificata in un primo flusso dati (detto anche legacy codestream) contenente un’immagine LDR con gamma colori inferiore a quella dell’immagine HDR, ed in un secondo flusso dati (detto anche residual codestream) contenente un’immagine residuale ottenuta dall’immagine HDR e dall’immagine LDR. Il metodo prevede di

- processare l’immagine LDR e l’immagine HDR in modo tale da portarle in uno stesso spazio colori con campioni in spazio logaritmico;

- generare un’immagine residuale in spazio logaritmico sottraendo l’immagine HDR con campioni in spazio logaritmico a quella LDR con campioni in spazio logaritmico;

- generare l’immagine residuale processando l’immagine residuale in spazio logaritmico in modo tale da adattarla ad un formato richiesto in ingresso da un encoder che inserisce l’immagine residuale nel secondo flusso di dati;

- generare una prima tabella di confronto che mappa i valori dei campioni dell’immagine LDR sui valori dell’immagine LDR processata ed in spazio logaritmico;

- generare una seconda tabella di confronto che mappa i valori dei campioni dell’immagine residuale inserita nel secondo flusso di dati sui valori dell’immagine residuale in spazio logaritmico;

- inserire la prima e la seconda tabella nel primo o nel secondo flusso di dati.

Questa soluzione permette una codifica quasi senza perdite (lossless or nearlossless) dell’immagine HDR. L’utilizzo delle tabelle di confronto e l’elaborazione dei dati nello spazio logaritmico, permette, infatti, di ridurre le perdite e ricostruire in modo ottimale l’immagine HDR originale. Le tabelle di confronto, così come l’immagine residuale e quella LDR di base possono essere codificate mediante codec tradizionali e trasmesse con bassa occupazione di banda o conservate con bassa occupazione di memoria.

In una forma di realizzazione, l’immagine LDR è ottenuta dall’immagine HDR mediante alcune elaborazioni, tra cui una correzione di gamma o tone mapping più correzione di gamma. In questa forma di realizzazione, la fase di generazione dell’immagine LDR con campioni in spazio logaritmico comprende i passi di:

a) convertire l’immagine LDR in un formato a virgola mobile,

b) effettuare una correzione di gamma dell’immagine LDR inversa rispetto alla correzione di gamma utilizzata per ottenere l’immagine LDR;

c) moltiplicare l’immagine LDR gamma corretta per una matrice atta a convertire l’immagine LDR gamma corretta nello spazio colore dell’immagine HDR; d) convertire in spazio logaritmico l’immagine LDR generata al passo c).

Questa soluzione offre il vantaggio ulteriore che l’immagine LDR viene processata in modo tale da essere congruente con l’immagine HDR nel confronto che segue per la generazione dell’immagine residuale.

In una forma di realizzazione, poi, i valori dell’immagine LDR generata al passo d) vengono scalati nell’intervallo di valori compreso tra 0 ed 1, in modo tale da conservare i rapporti di colore tra i pixel, ma evitando di mantenere valori negativi che potrebbero essersi generati nella conversione in spazio logaritmico.

In un’ulteriore forma di realizzazione il metodo prevede di decodificare l’immagine LDR inserita nel primo flusso di dati e processare l’immagine così decodificata al fine di generare l’immagine LDR con campioni in spazio logaritmico.

Vantaggiosamente, l’immagine HDR con campioni in spazio logaritmico viene generata convertendo l’immagine HDR da codificare in formato halflog .

In una forma di realizzazione preferita, l’immagine residuale inserita nel residual codestream viene ottenuta a partire dall’immagine residuale in spazio logaritmico secondo i seguenti passi:

i. sommare un valore di offset a tutti i campioni dell’immagine residuale in spazio logaritmico, il valore di offset essendo un valore positivo tale che tutti i campioni dell’immagine generata dopo la somma abbiano valore maggiore o uguale a zero;

ii. rappresentare (1024) i campioni dell’immagine ottenuta al punto i. con un numero di bit richiesti dall’encoder che inserisce l’immagine residuale nel secondo flusso di dati;

iii. convertire l’immagine ottenuta al passo ii. in uno spazio colori accettato da un encoder che codifica l’immagine residuale nel secondo flusso di dati.

L’invenzione è anche diretta ad un metodo per decodificare immagini HDR codificate mediante due flussi di dati, uno contenente un’immagine LDR di base ed uno contenente un’immagine residuale.

In una forma di realizzazione, l’invenzione è un metodo per processare dati di immagini, che comprendente i passi di:

- ricevere un primo flusso di dati contenente un’immagine LDR;

- ricevere un secondo flusso di dati comprendente un’immagine residuale necessaria a ricostruire un’immagine HDR;

decodificare l’immagine LDR dal primo flusso di dati;

decodificare l’immagine residuale dal secondo flusso di dati;

estrarre dal primo e/o dal secondo flusso di dati una prima ed una seconda tabella di confronto, in cui la prima tabella di confronto mappa i valori dei campioni dell’immagine LDR sui valori di un’immagine LDR in spazio logaritmico (LDR*) ed in cui la seconda tabella di confronto mappa i valori dei campioni dell’immagine residuale in spazio colore YCbCr decodificata sui valori di un’immagine residuale in spazio logaritmico sempre con spazio colore YCbCr;

generare l’immagine LDR in spazio logaritmico a partire dall’immagine LDR utilizzando la prima tabella di confronto per determinare i valori dei campioni dell’immagine LDR in spazio logaritmico;

generare l’immagine residuale in spazio logaritmico a partire dall’immagine residuale utilizzando la seconda tabella di confronto per determinare i valori dei campioni dell’immagine residuale in spazio logaritmico;

ricostruire un’immagine HDR logaritmica sottraendo all’immagine LDR in spazio logaritmico l’immagine residuale in spazio logaritmico;

convertire da spazio logaritmico a spazio lineare ed al formato originale dell’immagine HDR di input, l’immagine HDR logaritmica.

Grazie alle tabelle di conversione e all’elaborazione dei dati di immagine nello spazio logaritmico, questa soluzione permette una ricostruzione fedele di un’immagine HDR codificata mediante due flussi dati, uno contenente l’immagine LDR di base a bassa gamma dinamica, ed uno contenente l’immagine residuale.

Vantaggiosamente, la fase di ricostruzione dell’immagine HDR in spazio logaritmico prevede di aggiungere un valore di offset all’immagine LDR in spazio logaritmico. Tale valore di offset è preferibilmente pari a ʹ<M+ ͅ-ͳ>dove M è pari al numero di extra bit dell’immagine residuale rispetto a quella LDR.

L’invenzione è anche diretta ad un codificatore, un decodificatore ed un software in grado di implementare i metodi sopra riportati e meglio descritti nella descrizione che segue.

Ulteriori caratteristiche vantaggiose sono oggetto delle allegate rivendicazioni, che s’intendono parte integrante della presente descrizione.

BREVE DESCRIZIONE DEI DISEGNI

L’invenzione verrà descritta qui di seguito con riferimento ad esempi non limitativi, forniti a scopo esplicativo e non limitativo nei disegni annessi. Questi disegni illustrano differenti aspetti e forme di realizzazione della presente invenzione e, dove appropriato, numeri di riferimento illustranti strutture, componenti, materiali e/o elementi simili in differenti figure sono indicati da numeri di riferimento similari. La Figura 1 illustra un sistema di codifica e decodifica di immagini HDR;

La Figura 2 illustra un codificatore del sistema di figura 1;

La Figura 3 illustra una tabella di comparazione per uso nel codificatore di figura 2; La Figura 4 illustra una tabella di comparazione alternativa a quella di figura 3;

La figura 5 illustra un decodificatore del sistema di figura 1;

La figura 6 illustra una variante del codificatore di figura 2.

DESCRIZIONE DETTAGLIATA DELL’INVENZIONE

Mentre l’invenzione è suscettibile di varie modifiche e costruzioni alternative, alcune forme di realizzazione preferite sono mostrate nei disegni e saranno descritte qui di seguito in dettaglio.

Si deve intendere, comunque, che non vi è alcuna intenzione di limitare l’invenzione alla specifica forma di realizzazione illustrata, ma, al contrario, l’invenzione intende coprire tutte le modifiche, costruzioni alternative, ed equivalenti che ricadano nell’ambito dell’invenzione come definito nelle rivendicazioni.

L’uso di “ad esempio”, “ecc”, “oppure” indica alternative non esclusive senza limitazione a meno che non altrimenti indicato.

L’uso di “include” significa “include, ma non limitato a” a meno che non altrimenti indicato.

Col termine codestream si fa riferimento ad una rappresentazione di dati di un’immagine compressa, che comprende tutti i dati necessari per consentire una ricostruzione (completa o approssimativa) dei campioni di un'immagine digitale.

Dati aggiuntivi che definiscono l'interpretazione dei dati campione, come lo spazio colore o le dimensioni spaziali dei campioni, potrebbero essere necessari.

Col termine ‘canale’ di un’immagine s’intende una delle sue componenti, ad esempio un’immagine RGB comprende i canali R (Rosso), G (Verde) e B (Blu).

Col termine ‘pixel’ s’intende un’unità elementare dell’immagine costituita da un numero di valori scalari pari al numero dei canali; ad esempio in un’immagine RGB un pixel comprende tre valori scalari, uno per il rosso, uno per il giallo e uno per il blu.

Col termine ‘campione’ di un’immagine s’intende uno dei valori che costituiscono i pixel.

Nel seguito della presente descrizione dettagliata verranno illustrati metodi di codifica e decodifica di immagini che possono essere implementati mediante un codificatore (encoder) ed un decodificatore (decoder) opportunamente configurati per implementare tali metodi.

Un sistema di elaborazione delle immagini secondo la presente invenzione è qui descritto con riferimento all’esempio di figura 1.

Il sistema di elaborazione delle immagini 100 comprende un codificatore (encoder) 101 per codificare un’immagine ad alto range dinamico (HDR) 102. Il codificatore 101 riceve in ingresso l’immagine HDR 102 ed un’immagine a basso range dinamico (LDR) 102a ottenuta mediante tone mapping o esposizione e clamping dell’immagine HDR 102.

In una forma di realizzazione, il codificatore 101 è configurato per ricevere in ingresso solamente l’immagine HDR 102 e per generare l’immagine 102a dall’immagine HDR 102.

Il codificatore 101 processa le immagini HDR e LDR (102,102a) e genera in uscita un legacy codestream 103 comprendente l’immagine codificata LDR (preferibilmente corrispondente all’immagine LDR 102a) ed un residual codestream 104 comprendente un’immagine residuale che può essere utilizzata, in combinazione con l’immagine LDR codificata, per ricostruire l’immagine HDR.

Al fine di processare l’immagine HDR in un legacy codestream ed un residual codestream, il codificatore 101 comprende una circuiteria elettronica per implementare un metodo di codifica qui di seguito descritto con riferimento agli esempi nonlimitativi delle figure 1 e 3.

Il sistema di elaborazione 100 comprende inoltre un decodificatore (o decoder) 105 che è configurato per implementare un processo di decodifica come descritto nella descrizione che segue, ad esempio con riferimento alla figura 2.

Il decoder 105 riceve in ingresso il legacy codestream 103 ed il residual codestream 104 e genera in uscita un’immagine HDR 106 corrispondente all’immagine HDR originale 102.

In figura 2 viene illustrato uno schema a blocchi del codificatore 101 secondo una prima forma di realizzazione dell’invenzione.

Il codificatore 101 di figura 2 implementa un metodo per codificare l’immagine HDR 102 che, nell’esempio qui di seguito descritto è un’immagine a 32bit in formato a virgola mobile (nel seguito float).

Come meglio derivabile dalla descrizione che segue, il metodo prevede di scomporre l’informazione contenuta nell’immagine HDR in due strati (layer): un’immagine di base a bassa gamma dinamica (LDR) ed uno strato di residui (Redisual layer) che vengono codificati separatamente.

Il metodo prevede, dunque, di generare un codestream (nel seguito chiamato legacy codestream) che sia decodificabile da un legacy decoder, ossia da un dispositivo in grado di decodificare immagini LDR, ad esempio un encoder JPEG, MPEG, HEVC, H264 etc...

Partendo dall’immagine HDR 102, che nell’esempio in questione è un’immagine a 16 bit, mediante tone mapping, si genera un’immagine LDR 102a a 8 bit. In una forma di realizzazione alternativa, l’immagine LDR 102a può essere fornita in input all’encoder insieme all’immagine HDR 102; in questo caso l’encoder 101 non necessita di generare l’immagine LDR 102a.

L’immagine LDR 102a viene quindi passata ad un legacy encoder 1010 che, nell’esempio non limitativo di figura 2, è un encoder senza perdite (lossless).

Ovviamente, l’encoder 1010 richiede che l’immagine in ingresso da codificare sia in un predeterminato spazio colore; l’encoder 101 può dunque essere provvisto di uno o più blocchi di conversione atti a convertire l’immagine LDR da predeterminati spazi colore (es. RGB) allo spazio colore richiesto dall’encoder 1010. Il legacy encoder 1010, in modo di per sé noto, fornisce in uscita il suddetto legacy codestream 103, ovvero una sequenza di dati che rappresenta l’immagine LDR codificata, nel seguito chiamata anche Immagine Base Senza Perdite o Lossless Base Image.

Per la generazione del Residual Layer, il metodo prevede di calcolare un’immagine residuale come differenza logaritmica tra le immagini HDR ed LDR.

Per il calcolo dell’immagine residuale, le immagini HDR ed LDR vengono opportunamente processate.

L’immagine HDR 102 viene convertita nel blocco 1011 in un formato halflog 16 bit integer, che corrisponde alla raprresentazione intera di un halfloat (half-precison floating-point format) in spazio logaritmico (log 2).

Come detto in precedenza, anche l’immagine LDR 102a, viene processata per generare l’immagine residua.

L’immagine LDR 102a viene fornita in ingresso ad un blocco di elaborazione 1012, in cui l’immagine ad 8 bit interi viene innanzi tutto convertita in un formato float (blocco 1013), ad esempio dividendo i valori dei campioni in ingresso per 255, come da formula (1) seguente:

LDR_float=LDR/255.0 (1) Dove la formula (1) va intesa nel senso che ciascun campione dell’immagine LDR 102a in ingresso al blocco 1013 viene diviso per il valore 255.

Nel caso in cui l’immagine LDR 102a non sia lineare, allora il metodo prevede una fase di linearizzazione che viene eseguita nel blocco tratteggiato 1014 (opzionale). La linearizzazione è ottenuta mediante una correzione di gamma che può essere ottenuta attraverso, ad esempio, un elevamento a potenza dei valori dei campioni in ingresso, o utilizzando una Look-Up Table o utilizzando una ben nota funzione gamma sRGB, o una qualsiasi funzione gamma.

La correzione di gamma eventualmente applicata nel blocco 1014 è preferibilmente l’inversa di quella applicata nella fase di generazione dell’immagine LDR 102a. Ad esempio, se l’immagine LDR 102a è ottenuta applicando un algoritmo di tone mapping all’immagine HDR 102, e se tale algoritmo applica una curva gamma, ad esempio Γ=x<1/ldr_gamma>(x essendo un canale R, G o B dell’immagine e ldr_gamma essendo il valore di gamma, ad esempio pari a 2.2), allora nel blocco 1014 si applica la curva inversa di gamma Γ<-1>=x<ldr_gamma>ad ogni canale dell’immagine.

L’immagine LDR, linearizzata dopo il blocco 1014, viene poi portata nello spazio colori dell’immagine HDR 102 mediante il blocco 1015. Quest’ultimo comprede una matrice (3x3 nel caso qui trattato di immagini RGB) che converte il più stretto spazio colori dell’immagine LDR 102a in ingresso, nel più ampio spazio colori dell’immagine HDR 102.

L’immagine LDR in uscita dal blocco 1015 viene dunque ottenuta con la<seguente formula:>

dove H = è la matrice di conversione di spazio colore e è l’immagine linearizzata in ingresso al blocco 1015.

La conversione di spazio eseguita al blocco 1015 è, evidentemente, necessaria solamente se le immagini LDR 102a e HDR 102 sono rappresentate in due differenti spazi colore, ad esempio l’immagine LDR è rappresentata in uno spazio sRGB e l’immagine HDR 102 è nello spazio colore XYZ o in altri spazi colore come gli spazi BT 2020etc.

Nel caso in cui le immagini 102 e 102a in ingresso siano nello stesso spazio colore, allora la matrice H è la matrice d’identità, oppure si omette il blocco 1015.

L’immagine in uscita dal blocco 1015 viene quindi convertita (blocco 1016) in spazio logaritmico calcolando il logaritmo in base 2 dei campioni; l’immagine LDRlog in<uscita dal blocco 1016 è ottenuta dunque con la seguente formula:>

Poiché l’immagine LDRlogpotrebbe comprendere valori negativi, il metodo prevede di riscalare i valori dei campioni di questa immagine nell’intervallo [0,1]. Questa operazione viene condotta, canale per canale, nel blocco 1017 mediante la seguente formula:

Dove LDRscalingè l’immagine in uscita dal blocco 1017, l’indicazione |c è utilizzata per indicare il canale considerato (ad esempio i canali rosso, verde e blu nello spazio colori RGB), min(LDRlog|c) e max(LDRlog|c) sono rispettivamente i valori minimo e massimo di ciascun canale considerato.

L’immagine LDRscaling in uscita dal blocco 1012 è un’immagine i cui campioni sono espressi in spazio logaritmico mediante rappresentazione a virgola mobile.

Al fine di generare l’immagine LDR* da utilizzare per generare l’immagine residua, l’encoder 101 comprende ulteriormente un blocco 1018 in cui si converte l’immagine LDRscalingdal formato a virgola mobile al formato interi a 16 bit, lo stesso dell’immagine HDR*. La conversione generata nel blocco 1018 è la seguente:

L’immagine LDR* viene poi confrontata con l’immagine LDR 102a per generare delle tabelle di confronto (Look-Up Table), una per canale, da utilizzarsi in sede di decodifica dell’immagine e correzione degli errori di compressione.

Nel dettaglio, nel blocco 1019 viene generata per ogni canale una Look-Up Table (LUT) che mappa i valori a 8 bit del canale dell’immagine LDR 102a sui valori a 16 bit dell’immagine LDR*.

La LUT viene dunque compilata prendendo un campione dell’immagine LDR 102a, guardando che valore ha (ad es. 00000001) e osservando quale valore tale campione ha assunto nell’immagine LDR* (ad es. 0000000000000100) a seguito dell’elaborazione eseguita nei blocchi 1012 e 1018.

Un’esempio di LUT generata al blocco 1019 è rappresentata in figura 3. Come si vede la LUT è una tabella di 256 (2<8>) indici che dice quale valore a 16 bit è utilizzato per rappresentare, in questa codifica, un corrispondente valore di colore espresso ad 8 bit. Ovviamente la presenza della prima colonna nella LUT di figura 3 può essere omessa e l’encoder può memorizzare una LUT del tipo riportato in figura 4, sapendo che l’indice della colonna corrisponde al valore (espresso in interi) a 8 bit. Ad esempio, il primo elemento della LUT di figura 4 corrisponde al valore 0 ad 8 bit, il secondo al valore 1 ad 8 bit e così di seguito.

Preferibilmente, la LUT generata al blocco 1019 viene inserita tra i metadata dell’immagine LDR trasmessa con il legacy codestream 103.

L’immagine residuale in spazio logaritmico RESlogviene calcolata (blocco 1020) come differenza tra l’immagine HDR* (in uscita dal blocco 1011) e l’immagine LDR* in uscita dal blocco 1016:

Prima della trasmissione dell’immagine residuale nel residual codestream, il metodo di codifica prevede alcune fasi di elaborazione qui di seguito descritte e rappresentate in figura dai blocchi 1021-1026.

In primo luogo, nel blocco 1021 ai campioni dell’immagine RESlogviene aggiunto un valore di offsett per portare tutti i campioni ad un valore positivo

Dove M è pari al numero di extra bit dell’immagine residuale RESlog rispetto all’immagine LDR 102a.

Dato che l’aggiunta dell’offset potrebbe generare un numero superiore a 2<Nbit>, i campioni dell’immagine RESoffset sono espressi mediante una rappresentazione a 17 bit che viene trasportata in un contenitore a 32 bit, in cui i primi 15 bit sono posti a 0.

Al blocco 1022 l’immagine RESoffsetviene convertita nello spazio colori YCbCr per permettere un corretto confronto con l’immagine residuale che verrà inserita nel residual codestream e generare, così una LUT da utilizzarsi per la ricostruzione lossless dell’immagine residuale.

Se l’immagine RESoffset è nello spazio colori RGB, allora la conversione di spazio<colori eseguita al blocco 1022 è la seguente:>

dove T = ] è la matrice di conversione di spazio colore da RGB a

YCbCr e RESYCbCr_͵ʹè l’immagine in uscita dal blocco 1022.

Le tre componenti RGB dell’immagine possono dunque essere espresse come segue:

Dove b_1 – b_9 sono i coefficienti della matrice di conversione T.

Prima della codifica vera e propria eseguita nel legacy encoder 1026, l’immagine RESoffsetviene convertita nel blocco 1024 dallo spazio logaritmico a 17 bit (contenuto in 32 bit) a quello a 16 bit accettato dal legacy encoder 1026. La conversione eseguita al blocco 1024, è dunque la seguente:

L’immagine residuale a 16 bit viene successivamente convertita nello spazio YCbCr nel blocco 1025. Tale conversione si rende necessaria in quanto, in questo esempio di realizzazione, il legancy encoder richiede in ingresso un’immagine nello spazio colore YCbCr, chiaramente utilizzando altri encoder potrebbe rendersi necessaria la conversione in un adeguato spazio colori.

L’immagine in uscita dal blocco 1025 è dunque la seguente:

L’immagine viene quindi passata al legacy encoder 1026 che genera in uscita il residual codestream 104. Nell’esempio di realizzazione preferito, il legacy encoder 1026 è di tipo lossless, ossia senza perdite, come encoder esistenti di tipo JPEG, MPEG, PNG. La trasformata coseno discreta (DCT) utilizzata nell’encoder 1026 viene preferibilmente scelta in funzione della profondità di bit dell’immagine HDR in ingresso, ad esempio da 8 a 16 bit.

Per permettere la ricostruzione senza perdite dell’immagine residuale, l’encoder calcola, mediante il blocco 1023, una ulteriore tabella di comparazione (LUT), che mappa i valori dell’immagine su quelli dell’immagine in modo analogo a quanto avviene nel blocco 1019. La LUT generata nel blocco 1023<sarà dunque una tabella con 216 elementi i cui indici sono i valori dell’immagine>, ed i cui contenuti sono i valori a 17 bit della checorrispondonoagli elementi a 16 bit nella

Come la LUT generata per l’immagine a bassa gamma dinamica LDR, anche quella generata per l’immagine residuale viene preferibilmente inserita tra i metadata dell’immagine Base codificata nel legacy codestream.

Con riferimento alla figura 5 viene qui di seguito descritto un esempio di decoder 105 in grado di implementare la fase di decodifica e la ricostruzione dell’immagine HDR. Il decoder 105 comprende un legacy decoder 1050 in grado di ricevere in ingresso il legacy codestream 103 e, in modo di per sé noto, decodificare l’immagine Base LDR. Il legacy decoder 1050 è un decoder che esegue le operazioni inverse del legacy encoder 1010, pertanto, genera in uscita un’immagine a 8 bit interi nello spazio colori RGB. Analogamente, il decoder 1051 riceve in ingresso il residual codestream 104 e, in modo di per sé noto, decodifica l’immagine residuale ivi contenuta. Il legacy decoder 1051 è un decoder che esegue le operazioni inverse del legacy encoder 1026 e fornisce in uscita un’immagine a 16 bit nello spazio YCbCr.

Il metodo di decodifica dell’immagine HDR prevede di convertire l’immagine LDR decodificata (ossia in uscita dal legacy decoder 1050) da un formato RGB integer a 8 bit, ad un formato a 16 bit con rappresentazione in spazio logaritmico. Questo viene ottenuto al blocco 1052 sfruttando la Look-Up table generata al blocco 1019 e contenuta nei metadati del legacy codestream 103. Operativamente, per ogni pixel dell’immagine LDR ricostruita, si usa il suo valore da 0 a 255 come indice della lookup-table per sapere che valore da 0 a 65535 bisogna assegnare allo stesso pixel della immagine LDR ricostruita a 16 bit. L’immagine in uscita dal blocco 1052 corrisponde all’immagine LDR* utilizzata in fase di codifica.

Analogamente, l’immagine residuale ricostruita a 8 bit (ossia in uscita dal legacy decoder 1051) viene convertita in formato a 17 bit (inserita in un contenitore a 32 bit) con valori in spazio logaritmico sfruttando la Look-Up Table generata al blocco 1023 e contenuta, in questo esempio di realizzazione, nei metadata dal legacy codestream 103.

L’immagine a 17 bit in uscita dal blocco 1053 viene quindi convertita nello spazio colori RGB nel blocco 1054 e si procede alla ricostruzione dell’immagine HDR nel blocco di ricostruzione 1055.

Innanzi tutto bloco 1056 all’immagine LDR* in uscita dal blocco 1052 viene sottratta l’immagine RESRGB in uscita dal blocco 1054 e si somma il valore di offset introdotto al blocco 1021 in fase di codifica, la formula applicata nel blocco 1056 è dunque la seguente:

Dove HDRREC è l’immagine ricostruira ed offset è, nel caso in esame, pari aʹM+ ͅ-ͳ, dove M è pari al numero di extra bit per l’immagine residuale, usato in fase diencoding, estratta dal residual codestream. 8 bit in questo esempio di realizzazione. Il valore di offset può, eventualmente, essere inserito tra i metadati dell’immagine LDR di Base trasmessa nel legacy codestream.

Si ottiene così un’immmagine HDR i cui campioni sono espressi in scala logartitmica.

Per completare la ricostruzione dell’immagine HDR, dunque, si converte l’immagine in uscita dal blocco 1056 dalla spazio logaritmico ad uno spazio lineare e la si riporta nel formato originale dell’immagine HDR 102, ossia un formato a virgola mobile o intero. Per completare queste operazioni si sfruttano informazioni contenute nei metadati dall’immagine LDR di Base.

Alla luce di quanto sopra esposto, appare chiaro come i metodi di codifica e decodifica di immagini ad alto range dinamico (HDR) permettano una compressione e decompressione efficace e computazionalmente poco costosa, raggiungendo così gli obiettivi sopra esposti.

La presente invenzione presenta diverse caratteristiche vantaggiose. Essa consente la codifica di immagini HDR garantendo la compatibilità retroattiva con encoder legacy senza la necessità di elevata complessità computazionale. Le immagini HDR possono essere ricostruite correttamente indipendentemente dal tipo di tone mapping utilizzato per ottenere l'immagine LDR da quella HDR. L’uso delle Look-Up table per mappare le immaigni utilizzate nel calcolo dell’immagine residuale (LDR* ed HDR*) rispetto ad immagini inviate ai codificatori permette di avere elementi di riferimento utili ad una ricostruzione quasi senza perdite (near lossless). Le operazioni di calcolo dell’immagine residuale condotte operando principalmente nello spazio logaritmico permettono poi di ridurre ulteriormente perdite che sono, invece, intrinseche di operazioni di divisione che si renderebbero, invece, necessarie operando nello spazio lineare.

Benché l'invenzione sia stata descritta con riferimento ad alcune forme di realizzazione specifiche, la descrizione non deve essere interpretata in maniera limitativa. Molte modifiche alle forme di realizzazione descritte, così come forme di realizzazione alternative, possono essere implementate dal tecnico del ramo dopo aver letto la presente descrizione. E’ chiaro alla persona esperta nella tecnica che l'idea e la specifica forma di realizzazione descritta possono essere leggermente modificate o usate come base per la modifica o la progettazione di altri metodi e strutture. La divisione in blocchi logici non deve essere interpretata come limitativa, dato che i blocchi logici possono essere raggruppati o organizzati in modo diverso rispetto a quanto sopra illustrato.

Esempi di soluzioni alternative possono essere nel modo di ottenere l'immagine LDR linearizzata (LDR *) da utilizzare per il calcolo dell’immagine residuale. Ad esempio, in una forma di realizzazione mostrata in figura 6, l'immagine in ingresso al blocco 1013 non è l’immagine LDR 102a come nella figura 2, bensì è ottenuta decodificando (blocco 1028) l’immagine codificata nel legacy encoder 1010.

Sebbene questa soluzione richieda costi computazionali aggiuntivi per la decodifica (blocco 1028) dell'immagine LDR codificata nel blocco 1010, questa soluzione migliora le prestazioni di codifica perché i dati residui sono calcolati a partire dall'immagine LDR codificata. Inoltre, questa soluzione risulta utile nel caso in cui l’encoder 1010 sia un encoder con perdite (lossy) (ad esempio JPEG), perché permette, grazie alle tabelle di confronto, di ricostruire l’immagine LDR con perdite inserita nel legacy codestream.

Inoltre, sebbene il metodo, qui di sopra è stato illustrato con riferimento alla codifica di un’immagine digitale, è evidente che lo stesso metodo può essere esteso alla codifica di video, notoriamente composti da una pluralità di immagini (frame) che vengono riprodotti sequenzialmente. Ad esempio, se il video è in un formato MPEG, costituito da una pluralità di immagini I, B, P, in formato HDR, è possibile applicare il metodo sopra descritto a ciascuna di queste immagini.

Infine, si deve sottolineare che l’invenzione non è limitata ad un codificatore e/o ad un decodificatore hardware, ma essa si riferisce altresì a programmi per computer che contengono porzioni di codice che, quando eseguite dal computer, permettono allo stesso di implementare i metodi di codifica e/o decodifica sopra descritti. Si deve a tal proposito rilevare come tali metodi permettando di trattare e trasformare dati di immagini riducendo le dimensioni dei file che li contengono (quindi con risparmio di spazio di memoria per salvarli e/o risparmio di banda necessaria alla loro trasmissione) garantendo comunque una ricostruzione fedele di immagini HDR.

Claims

RIVENDICAZIONI 1. Metodo per codificare immagini HDR (102), in cui un’immagine HDR viene codificata in un primo flusso dati (103) contenente un’immagine LDR (102a) con gamma colori inferiore a quella dell’immagine HDR (102), ed in un secondo flusso dati (104) contenente un’immagine residuale ottenuta dall’immagine HDR (102) e dall’immagine LDR (102a), il metodo essendo caratterizzato dal fatto di processare l’immagine LDR (1012, 1018) e l’immagine HDR (1011) in modo tale da portarle in uno stesso spazio colori con campioni in spazio logaritmico; generare una prima immagine residuale in spazio logaritmico (1020) sottraendo l’immagine HDR con campioni in spazio logaritmico all’immagine LDR con campioni in spazio logaritmico; generare l’immagine residuale processando la prima immagine residuale in spazio logaritmico in modo tale da adattarla ad un formato richiesto in ingresso da un encoder che inserisce l’immagine residuale nel secondo flusso di dati; generare (1019) una prima tabella di confronto che mappa i valori dei campioni dell’immagine LDR (102) sui valori dell’immagine LDR processata ed in spazio logaritmico (LDR*); generare (1023) una seconda tabella di confronto che mappa i valori dei campioni dell’immagine residuale inserita nel secondo flusso di dati sui valori della prima immagine residuale in spazio logaritmico; inserire la prima e la seconda tabella di confronto nel primo o nel secondo flusso di dati.
2. Metodo secondo la rivendicazione 1, in cui l’immagine LDR (102a) è ottenuta dall’immagine HDR (102) mediante alcune elaborazioni, tra cui una correzione di gamma, ed in cui la fase di generazione dell’immagine LDR con campioni in spazio logaritmico comprende i passi di: a) convertire l’immagine LDR in un formato a virgola mobile (blocco 1013), b) effettuare una correzione di gamma (1014) dell’immagine LDR inversa rispetto alla correzione di gamma utilizzata per ottenere l’immagine LDR; c) moltiplicare (1015) l’immagine LDR gamma corretta per una matrice atta a convertire l’immagine LDR gamma corretta nello spazio colore dell’immagine HDR; d) convertire in spazio logaritmico l’immagine LDR generata al passo c).
3. Metodo secondo la rivendicazione 2, ulteriormente comprendente i seguenti passi: e) scalare (1017) i valori dell’immagine LDR generata al passo d) nell’intervallo di valori compreso tra 0 ed 1.
4. Metodo secondo la rivendicazione 3, ulteriormente comprendente i seguenti passi f) convertire (1018) l’immagine generata al passo e) da un formato a virgola mobile ad un formato a interi utilizzando una rappresentazione con lo stesso numero di bit dell’immagine HDR con campioni in spazio logaritmico.
5. Metodo secondo una qualsiasi delle rivendicazioni da 2 a 4, in cui prima del passo a) si codifica (1010) l’immagine LDR mediante un encoder lossy che inserisce l’immagine LDR nel primo flusso di dati (103) e si decodifica (1028) l’immagine inserita nel primo flusso di dati.
6. Metodo secondo una qualsiasi delle rivendicazioni da 1 a 5, in cui l’immagine HDR con campioni in spazio logaritmico viene generata convertendo l’immagine HDR (102) in formato halflog.
7. Metodo secondo una qualsiasi delle rivendicazioni da 1 a 6, in cui l’immagine residuale viene ottenuta a partire dall’immagine residuale in spazio logaritmico secondo i seguenti passi: i. sommare un valore di offset a tutti i campioni della prima immagine residuale 0 in spazio logaritmico, il valore di offset essendo un valore positivo tale che tutti i campioni dell’immagine generata dopo la somma abbiano valore maggiore o uguale a zero; ii. rappresentare (1024) i campioni dell’immagine ottenuta al punto i. con un numero di bit richiesti dall’encoder che inserisce l’immagine residuale nel secondo flusso di dati; iii. convertire (1025) l’immagine ottenuta al passo ii. in uno spazio colori accettato dall’ encoder che inserisce l’immagine residuale nel secondo flusso di dati.
8. Codificatore (101) atto a ricevere in ingresso un’immagine HDR ed implementare un metodo secondo una qualsiasi delle rivendicazioni da 1 a 7.
9. Metodo per processare dati di immagini, comprendente i passi di: - ricevere un primo flusso di dati (103) contenente un’immagine LDR; - ricevere un secondo flusso di dati (104) comprendente un’immagine residuale necessaria a ricostruire un’immagine HDR; - decodificare (1050) l’immagine LDR dal primo flusso di dati (103); - decodificare (1051) l’immagine residuale dal secondo flusso di dati (104); - ricostruire (1055) l’immagine HDR a partire dall’immagine LDR decodificata e dall’immagine residuale decodificata; caratterizzato dal fatto di - estrarre dal primo (103) o dal secondo (104) flusso di dati una prima ed una seconda tabella di confronto, in cui la prima tabella di confronto mappa i valori dei campioni dell’immagine LDR sui valori di un’immagine LDR in spazio logaritmico (LDR*) ed in cui la seconda tabella di confronto mappa i valori dei campioni dell’immagine residuale sui valori di un’immagine residuale in spazio logaritmico; - generare (1052) l’immagine LDR in spazio logaritmico a partire dall’immagine LDR decodificata utilizzando la prima tabella di confronto per determinare i valori dei campioni dell’immagine LDR in spazio logaritmico; - generare (1053) l’immagine residuale in spazio logaritmico a partire dall’immagine residuale utilizzando la seconda tabella di confronto per determinare i valori dei campioni dell’immagine residuale in spazio logaritmico; - ricostruire un’immagine HDR logaritmica sottraendo (1056) all’immagine LDR in spazio logaritmico l’immagine residuale in spazio logaritmico; - convertire da spazio logaritmico a spazio lineare l’immagine HDR logaritmica.
10. Metodo secondo la rivendicazione 9, ulteriormente comprendente il passo di convertire l’immagine HDR in spazio lineare ad un formato originale, l’informazione sul formato originale essendo contenuta nel primo o nel secondo flusso di dati.
11. Metodo secondo la rivendicazione 9 o 10, in cui la fase di ricostruzione dell’immagine HDR logaritmica prevede di aggiungere un valore di offset all’immagine LDR in spazio logaritmico, il valore di offset essendo ʹ<M+ ͅ-ͳ>dove M è pari al numero di extra bit per l’immagine residuale, usato in fase di encoding, estratta dal secondo flusso di dati.
12. Decodificatore (105) atto a ricevere in ingresso un primo ed un secondo flusso di dati e ad implementare un metodo secondo la rivendicazione 9 o 10 o 11.