ITTO980828A1 - Procedimento per la creazione di modelli facciali tridimensionali apartire da immagini di volti. - Google Patents
Procedimento per la creazione di modelli facciali tridimensionali apartire da immagini di volti. Download PDFInfo
- Publication number
- ITTO980828A1 ITTO980828A1 IT1998TO000828A ITTO980828A ITTO980828A1 IT TO980828 A1 ITTO980828 A1 IT TO980828A1 IT 1998TO000828 A IT1998TO000828 A IT 1998TO000828A IT TO980828 A ITTO980828 A IT TO980828A IT TO980828 A1 ITTO980828 A1 IT TO980828A1
- Authority
- IT
- Italy
- Prior art keywords
- model
- texture
- face
- process according
- images
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—Two-dimensional [2D] image generation
- G06T11/10—Texturing; Colouring; Generation of textures or colours
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—Three-dimensional [3D] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three-dimensional [3D] modelling for computer graphics
- G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three-dimensional [3D] modelling for computer graphics
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
- Image Processing (AREA)
Description
DESCRIZIONE dell'invenzione industriale dal titolo: "Procedimento per la creazione di modelli facciali tridimensionali a partire da immagini di volti"
TESTO DELLA DESCRIZIONE
La presente invenzione si riferisce alle tecniche per la creazione di modelli facciali tridimensionali suscettibili di essere utilizzati, ad esempio, per la costruzioni di cosiddetti avatar {modelli antropomorfi) da usarsi in mondi virtuali, applicazioni di video-comunicazione, videogiochi, produzioni televisive e creazioni di interfacce evolute uomo-macchina.
Sono già note nella tecnica soluzioni che consentono di ottenere un modello tridimensionale a partire da una foto del volto di una persona.
In proposito si possono citare ad esempio il prodotto Character Creator della società Darwin 3D (si veda in proposito il sito Internet http://www.darwin3d.com) nonché il prodotto Avatar Maker della società Sven Technologies (si veda in proposito il sito http://www.sven-tec.com). Il prodotto Character.Creator si basa sulla'scelta di un modello di base che assomiglia alla persona fotografata. Si riquadra il volto ritratto nella foto con un ellisse ed il programma usa come tessitura del modello ciò che si trova all'interno dell'ellisse. Nel prodotto Avatar maker è previsto di segnare una decina di punti sul volto e di scegliere un modello di base al quale viene associata la tessitura della foto .
Il principale inconveniente di tali realizzazioni note è che la struttura del modello generato non consente una successiva animazione. Questo in quanto, ad esempio, il modello (generato normalmente con modalità "wire frame", cioè a partire da una struttura a maglia, come si vedrà anche in seguito) non è in grado di seguire esattamente il profilo in corrispondenza della bocca, impedendo quindi di compiere movimenti labiali. Lo stesso vale anche per altre parti significative del volto, come gli occhi ed il naso.
La presente invenzione si prefigge lo scopo di fornire un procedimento che consenta di realizzare modelli facciali suscettibili di risultare realistici sia in condizioni statiche, sia in condizioni di animazione, soprattutto per quanto riguarda, ad esempio, l'apertura e la chiusura delle palpebre e la possibilità di simulare la rotazione oculare.
Secondo la presente invenzione, tale scopo viene raggiunto grazie ad un procedimento avente le caratteristiche richiamate in modo specifico nelle rivendicazioni che seguono.
In sostanza, il procedimento secondo l'invenzione, si basa sull'adattamento di un modello base di volto - tipicamente un volto umano - dalle caratteristiche fisionomiche della persona fotografata. Il modello base (o "template") è rappresentato da una struttura, di preferenza del tipo denominato wire fraine (fil di ferro), costituito da una pluralità di superfici scelte nel gruppo costituito da cinque superfici, ossia:
- volto,
- occhio destro e occhio sinistro, e
- denti superiori e inferiori.
Le superfici oculari sono separate da quelle del volto così da consentire, fra l'altro, la realizzazione del: movimento di apertura e chiusura delle palpebre ed una lieve traslazione simulante la reale rotazione oculare. In modo analogo è possibile realizzare l'animazione del modello per quanto riguarda il parlato tramite l'animazione delle superfici che rappresentano i denti superióri e inferiori.
L'invenzione verrà ora descritta, a puro titolo di esempio non limitativo, con riferimento ai disegni annessi, nei quali:
- le figure 1A e 1B rappresentano il tipico aspetto dei modelli utilizzati nell'attuazione dell'invenzione rappresentati rispettivamente in modalità wire fraine (figura 1A) e solida (figura 1B), - la figura 2 rappresenta lo stesso modello rappresentato nella figura 1 in vista posteriore, anche in questo caso in modalità wire frame (figura 2A) e solida (figura 2B),
- le figure 3A a 31 rappresentano un complesso di tabelle che identificano i punti caratteristici o feature points di un volto secondo lo stato attuale di evoluzione dello standard MPEG-4, suscettibile di essere utilizzato per l'attuazione dell'invenzione, - la figura 4 illustra schematicamente una delle fasi del procedimento secondo l'invenzione,
- la figura 5 illustra un'altra fase del procedimento secondo l'invenzione.
- la figura 6 illustra, in tre rispettive parti, indicate rispettivamente con 6A, 6B e 6C l'evoluzione di un modello nell'ambito di un procedimento secondo l'invenzione,
- la figura 7, anch'essa comprendente tre parti, rappresenta, nella parte 7A, una foto con evidenziati i feature point utilizzati per la calibrazione in una possibile attuazione del procedimento secondo l'invenzione e, nelle parti 7B e 7C, due viste del modello ottenuto, completo di tessitura, - la figura 8 illustra, sotto forma di uno schema a blocchi, la struttura di un sistema suscettibile di essere utilizzato per realizzare l'invenzione,
- la figura 9 è un diagramma di flusso relativo ad una possibile forma di attuazione del procedimento secondo l'invenzione, e
le figure 10 e 11 esemplificano l'applicazione di una cosiddetta tessitura nel contesto della presente invenzione.
Nelle figure 1 e 2 è rappresentato un modello base M di volto umano utilizzabile in una possibile forma di attuazione dell'invenzione. Il modello M è qui rappresentato sia nella modalità wire frame, sia nella modalità solida. Quest'ultima si differenzia da quella wire frame essenzialmente per la campitura dei triangoli della struttura wire frame. Il modello M qui illustrato è costituito da cinque superfici, ossia:
- volto V, composto - nell'esempio di attuazione illustrato - da 360 vertici e 660 triangoli,
- occhio destro OD e occhio sinistro OS, composti ciascuno da 26 vertici e 37 triangoli,
- denti superiori DS e inferiori DI, composti ciascuno da 70 vertici e 42 triangoli.
Si apprezzerà in particolare che il modello M è una struttura cava, praticamente assimilabile ad una sorta di maschera la cui forma è destinata a riprodurre le fattezze del volto modellato.
Naturalmente, pur corrispondendo a una forma di attuazione dell'invenzione al momento preferita, il numero di vertici e triangoli a cui si è fatto riferimento in precedenza ha puro carattere esemplificativo e non deve quindi essere in alcun modo interpretato come limitativo della portata dell’invenzione.
Lo stesso.vale per quanto riguarda la scelta di utilizzare, per la realizzazione del modello di base cinque superfici distinte.
Il numero di queste potrebbe infatti variare, sia nel senso di una diminuzione (per realizzare modelli più semplici) o dell'aumento (per realizzare modelli più dettagliati e sofisticati) in funzione delle esigenze applicative. Resta, come caratteristica importante, la scelta di utilizzare quale modello di base un modello comprendente una pluralità di superfici ed in particolare superfici che, in funzione del tipo di volto che si intende modellare (ad esempio un volto umano) corrispondono a forme complessivamente note in termini generali - nell*ambito di una collocazione relativa anch'essa complessivamente conosciuta.
Infatti, pur essendo la tipologia del viso umano praticamente infinita,.si sa che la superficie del volto presenta un aspetto complessivo a conca, che le palpebre presentano in generale una superficie appunto a palpebra, almeno marginalmente convessa, che le arcate dei denti presentano una forma ad arco, ecc. Si sa poi che le palpebre sono collocate in generale nella parte mediana-superiore della superficie del volto mentre le superfici dei denti sono collocate nella regione inferiore.
In più, il fatto di utilizzare, per la realizzazione del modello, superfici distinte consente di imporre al modello condizioni di separazione, quali quelle che consentono di evitare, ad esempio, l'interferenza delle superfici dei denti in modo da poter modellare in modo esatto l'effetto di congruenza delle arcate dentarie.
Questa caratteristica è ancor meglio apprezzabile nelle viste da retro della figura 2.
Nella sostanza, il procedimento secondo l'invenzione si basa sulla soluzione di:
- prendere una immagine (tipicamente una fotografia frontale) del volto che si vuole modellare, e - modificare il modello o template tramite una serie di trasformazioni geometriche in modo da far sì che la sua proiezione coincida con un insieme di punti identificati sulla fotografia presa come immagine di partenza. Per questa azione di adattamento vengono utilizzati rispettivi insiemi di punti scelti in corrispondenza di altrettanti punti caratteristici (feature point) così come definiti nella sezione "face and body animation" dello standard ISO/IEC 14496-2 (MPEG-4) così come rappresentati nelle figure 3A a 3H.
In particolare, in una forma di attuazione dell 'invenzione al momento preferita, il procedimento secondo l'invenzione viene attuato impiegando i feature point identificati nello standard MPEG-4 (così come definito alla data di deposito della presente domanda) dai seguenti indici: 11.4, 2.1, 10.9, 10.10, 8.4, 8.1, 8.3, 8.2, 2.2, 2.3, 9.3, 9.2, 9.1, 4.1, 3.12, 3.8, 3.10, 3.14, 3.11, 3.13, 3.7 e 3.9. Ad ognuno di questi indici corrisponde un vertice della struttura del modello.
La figura 4 fa vedere in sintesi il procedimento secondo l'invenzione, così come suscettibile di essere attuato tramite il sistema rappresentato nella figura 8.
Tale sistema, indicato nel complesso con 1, comprende un'unità di ripresa 2 costituita ad esempio da una fotocamera digitale ovvero da un insieme funzionalmente equivalente, quale una fotocamera di tipo tradizionale suscettibile di produrre fotografie che, dopo sviluppo e stampa, possono essere sottoposte ad un processo di scannerizzazione. L'unità 2 è quindi suscettibile di generare, a partire da un soggetto L, un'immagine piana I del volto da modellare: si tratta, in pratica, di un'immagine del tipo di quella rappresentata nella figura 7A.
L'immagine I così ottenuta si presenta sotto forma di un'immagine digitalizzata, ossia sotto forma di una sequenza di dati che rappresentano pixel per pixel i dati (luminosità, caratteristiche cromatiche, ecc.) relativi all'immagine stessa.
Tale sequenza di dati viene alimentata ad un sistema elaborativo 3 (essenzialmente un elaboratore elettronico) che realizza - secondo principi noti al tecnico esperto del settore, una volta conosciuti i criteri di realizzazione dell'invenzione descritti in dettaglio nel seguito,- le seguenti operazioni:
- identificazione ed estrazione dei feature point dell'immagine I destinati ad essere utilizzati per l'elaborazione del modello M,
- lettura dei dati corrispondenti al modello di partenza, precedentemente caricati e letti anche qui secondo modalità note, a partire da una memoria o un simile sopporto 4 associato all'elaboratore,
- svolgimento delle operazioni di trattamento tipiche del procedimento secondo l'invenzione, così come descritte meglio nel seguito, e
- generazione del modello elaborato di uscita, anche in questo caso sotto forma di dati numerici rappresentativi del modello tridimensionale; tali dati suscettibili di essere trasferiti e caricati verso un altro sistema di elaborazione (ad esempio un sistema di animazione) e/o di essere scaricati su un sopporto di memorizzazione 5 (dischetto, CD-ROM, ecc.) in vista della successiva utilizzazione.
L'operazione di adattamento del modello di partenza M descritto in precedenza all'immagine I si _ basa su una virtuale proiezione ottica rispettiva del modello M e dell'immagine I attuata in un sistema il cui fuoco giace nell'origine 0 con uno spazio cartesiano tridimensionale x, y, z nella quale il modello M è posto nel semispazio positivo lungo l'asse Z e l'immagine I è posta in quello negativo. Si veda in proposito lo schema della figura 4.
Si apprezzerà che l'operazione di adattamento fine del modello M all'immagine I presuppone che il modello M risulti complessivamente orientato, rispetto al piano xy del sistema descritto, in condizioni complessivamente speculari all'immagine I. Dunque, il modello M viene posizionato con un orientamento frontale quando si desidera perseguire l'adattamento ad un'immagine I parimenti frontale. Il modello M risulterà invece orientato ad esempio di lato quando si desideri eventualmente conseguire l'adattamento rispetto ad un'immagine laterale del capo del soggetto rappresentato nell'immagine I.
Ciò vale anche nella sostanza per la distanza a che separa l'origine 0 dal centro del modello M e la distanza λ fra,l'origine 0 e il piano dell'immagine I. Per semplificare il processo di calibrazione ed evitare l'inserimento da parte dell'utilizzatore di valori sconosciuti, almeno la distanza a viene fis-- sata ad un valore arbitrario (ad esempio 170 cm) determinato a priori calcolando la media di un insieme di casi possibili. Ciò tenendo anche presente che il valore a dipende non solo dalla distanza che il soggetto aveva dal dispositivo di ripresa 2 al momento della rilevazione dell'immagine I ma anche dai parametri del dispositivo stesso.
Nella sostanza, il procedimento secondo l’invenzione consiste in una serie di trasformazioni geometriche dirette a far sì che la proiezione dell'insieme di feature point del modello M preso in considerazione coincida con l'omologo insieme punti omologhi identificati sull'immagine I.
Siano allora (x1.j,Yi.j, zij) le coordinate nello spazio del vertice del modello M associato al feature point ij (ad esempio l'estremità sinistra del viso) e siano (x1.j, Yi.j) le coordinate nell'immagine I del medesimo feature point (riferite ad un sistema locale al piano dell'immagine I, con l'origine coincidente con l'cingolo superiore dell'immagine, in un possibile esempio di attuazione).
Dopo l'avvio del procedimento (passo 100 nel diagramma di flusso della figura 9) il primo passo operativo (101 nella figura 9) consiste nel calcolare il valore di λ.
Siano X0 e Y0 le coordinate del centro del volto ritratto nell'immagine I. Queste vehgono ricavate sfruttando i quattro punti posti all'estremità del viso (ad esempio, con riferimento allo standard MPEG -4 al momento in vigore, i punti 10.9 e 10.10: estremità sinistra e destra del volto, ed 11.4, 2.1: sommità del capo e punta del mento). Vale allora la relazione
λ è calcolata in modo da far coincidere la larghezza della proiezione del modello con la larghezza del volto nella foto secondo la relazione:
Successivamente (passo 102) la posizione del modello M lungo l'asse Y viene modificata in modo da centrarne verticalmente la proiezione con il contenuto dell'immagine I. Ad ogni vertice viene sommato un Δy calcolato nel seguente modo
Il modello viene così scalato nel senso verticale. Dopo questa operazione, l'ingombro della sua proiezione coincide con l'area della testa riprodotta nell'immagine I.
In un successivo passo 103 ogni coordinata Y dei vertici del modello M viene moltiplicata per un coefficiente c calcolato in base alla seguente relazione
A questo punto (passo 104) viene eseguita ima trasformazione globale di secondo grado sul modello in senso verticale al fine di far coincidere la posizione di alcuni tratti caratteristici del volto (ad esempio le sopracciglia) con quelli della persona. Il modello viene in sostanza alterato lungo l'asse Y nel modo rappresentato nella figura 5.
Di preferenza, la trasformazione globale è una trasformazione di secondo grado non lineare, preferibilmente di secondo grado ed in modo ancor più preferito con legge parabolica basata su una relazione del tipo corrispondente ad una generica parabola (y = az<2 >+ bz c) passante per i tre punti del piano YZ:
In particolare nella figura 5 il modello rappresentato coricato, dunque in verso orizzontale, corrisponde al modello prima della trasformazione attraverso la funzione parabolica descritta in precedenza, mentre il modello rappresentato eretto corrisponde al risultato della trasformazione.
Segue {passo 105, con struttura essenzialmente ciclica, definita da un passo di scelta 106 che identifica se la sequenza deve ritenersi completa) una serie di trasformazioni {traslazioni, scalamenti e trasformazioni affini vere e proprie) usate per posizionare correttamente i singoli elementi caratteristici del volto. Di preferenza, le operazioni svolte sono le seguenti:
- le palpebre e il contorno degli occhi vengono adattati mediante due traslazioni e quattro trasformazioni affini;
- il naso viene dapprima adattato in senso verticale mediante uno scalamento e poi deformato mediante due trasformazioni affini;
- la bocca viene modificata mediante l'applicazione di quattro trasformazioni affini;
- la zona compresa fra la base del naso e l'estremità superiore della bocca viene traslata e scalata; e
- la zona compresa fra l'estremità inferiore della bocca e la punta del mento viene traslata e scalata.
Di preferenza le trasformazioni affini adottate corrispondono ad una trasformazione esprimibile secondo una relazione del tipo:
dove :
Le formule descritte esprimono una trasformazione planare guidata dallo spostamento di tre punti: (x1, Y1) (x2, y2) , (x3, y3) sono le coordinate di tali punti prima della trasformazione,
(Χ1', Υ1'), (x2', y2'), (x3', y3') sono le corrispondenti coordinate dopo la trasformazione.
Come ultime operazioni inerenti alla geometria del modello due wire frame rappresentanti gli occhi (sclere ed iridi) vengono posizionati dietro le palpebre, in modo da consentirne la chiusura e lasciare uno spazio sufficiente ad uno spostamento simulante il movimento degli occhi (passo 107). Al modello vengono inoltre aggiunti denti standard che non interferiscono con i movimenti della bocca (108).
La sequenza rappresentata nelle figure 6A-6C rappresenta le evoluzioni del modello M (qui rappresentato secondo le modalità wire frame al fine di meglio evidenziare le variazioni) con riferimento all'aspetto frontale del modello di base (figura 6A), dopo le trasformazioni affini (figura 6B) e dopo il completamento con occhi e denti (figura 6C).
A questo punto si procede (passo 109) ad applicare la tessitura al modello, associando ad ogni vertice una coordinata bidimensionale che lo lega ad un punto specifico dell'immagine I, secondo il procedimento noto come "texture binding". I dati relativi al texture binding vengono calcolati semplicemente sfruttando i parametri di proiezione a e λ stabiliti all'inizio del processo di calibrazione descritto in esordio. I denti possiedono una tessitura standard, stabilita a priori.
Nel caso in cui il modello venga creato a partire da più immagini, viene eseguito un ulteriore passo per quanto riguarda la generazione della tessitura, non specificamente rappresentato nel diagramma di flusso nella figura 9. Infatti, l’immagine contenente la tessitura del modello viene creata unendo le informazioni associate ai vari punti di vista.
Di preferenza, per sfruttare al meglio la risoluzione dell'immagine destinata a contenere la tessitura, la forma della tessitura di tutti i triangoli del modello viene trasformata in un triangolo rettangolo di dimensione costante. I triangoli così ottenuti sono successivamente accoppiati due a due in modo da ottenere una forma rettangolare. I rettangoli vengono poi collocati nell'immagine con una disposizione a matrice in modo da ricoprirne la superficie. La dimensione dei rettangoli è funzione del numero dei triangoli del modello e della dimensione dell'immagine immagazzinante la tessitura del modello.
La figura 10 mostra un esempio di immagine contenete la tessitura dei diversi triangoli. Ogni rettangolo (i poligoni illustrati non sono quadrati, sono N x N+1 pixel) contiene la tessitura di due triangoli. In origine la tessitura dei singoli triangoli ha una generica forma triangolare che è stata trasformata in un triangolo mediante una trasformazione affine e un filtraggio bi-lineare.
La figura 11 mostra un dettaglio della precedente figura 10, in cui si può osservare l'area utile come tessitura usata da due triangoli all'interno del rettangolo (aree delimitate dalle linee 300, di colore rosso). Per ogni rettangolo di dimensione xN+1 l'area utile è di N x.N pixel.
Si fa notare che questa procedura di generazione della tessitura non è specifica per modelli di volto umano, ma può essere applicata in tutti i casi di creazione di un modello tridimensionale a partire da più immagini.
Il modello così ottenuto è poi rappresentabile usando diversi formati grafici comuni (fra cui, oltre allo standard MPEG-4 citato in precedenza, gli standard VRML 2.0 e Openlnventor). Tutti i modelli sono animabili in modo da riprodurre il movimento labiale e le espressioni facciali. Nel caso in cui si abbiano a disposizione più immagini del soggetto, acquisiti da punti di vista differenti, è possibile applicare il procedimento descritto alle diverse immagini disponibili, in modo da perfezionare l'aspetto del modello. Quest'ultimo viene naturalmente orientato in modo corrispondente all'orientamento dell'immagine.
Naturalmente, fermo restando il principio dell'invenzione, i particolari di realizzazione e le forme di attuazione potranno essere ampiamente variati rispetto a quanto descritto ed illustrato, senza per questo uscire dall'ambito della presente invenzione, così come definito dalle rivendicazioni che seguono.
Claims (11)
- RIVENDICAZIONI 1. Procedimento per creare modelli facciali tridimensionali (M) a partire da immagini di volti (I), caratterizzato dal fatto che comprende le operazioni di: - provvedere almeno un'immagine di volto (I), - provvedere un modello facciale tridimensionale (M) avente una struttura a vertici e comprendente una pluralità di superfici scelte nel gruppo costituito da: - una superficie di volto (V), - superfici di occhio, rispettivamente destro (OD) e sinistro (OS), e - superfici di denti,.rispettivamente superiore (DS) ed inferiore (DI), - scegliere fra i vertici della struttura di detto modello (M) e su detta almeno un'immagine di volto (I) rispettivi insiemi di punti omologhi, e - modificare (figure 6A-6C) la struttura di detto modello (M) nel verso che porta rispettivi insiemi di punti omologhi a coincidere fra loro.
- 2. Procedimento secondo la rivendicazione 1, caratterizzato dal fatto che dette superfici di occhio (OD, OS) e dette superfici di denti (DS, DÌ) vengono scelte ininterferenti rispetto a detta superficie di volto.
- 3. Procedimento secondo la rivendicazione 1 o la rivendicazione 2, caratterizzato dal fatto che i vertici della struttura di detto modello (M) del rispettivo insieme vengono scelti in conformità con lo standard MPEG-4.
- 4. Procedimento secondo una qualsiasi delle precedenti rivendicazioni, caratterizzato dal fatto che la modifica della struttura di detto modello (M) nel verso che porta detti rispettivi insiemi di punti omologhi a coincidere fra loro, comprende almeno una delle operazioni scelte nel gruppo costituito da: - far coincidere la larghezza della proiezione del modello (M) con la larghezza di detta immagine di volto (I), - centraggio verticale della proiezione del modello (M) con detta immagine di volto (I), - trasformazione globale non lineare del modello (M) in senso verticale al fine di far coincidere la posizione di almeno un tratto caratteristico del modello (M) con un tratto caratteristico omologo di detta immagine di volto.
- 5. Procedimento secondo la rivendicazione 4, caratterizzato dal fatto che detta trasformazione globale di secondo grado è realizzata tramite una funzione di secondo grado, preferibilmente parabolica.
- 6. Procedimento secondo una qualsiasi delle precedenti rivendicazioni, caratterizzato dal fatto che la modifica della struttura di detto modello (M) nel verso che porta detti rispettivi insiemi di punti omologhi a coincidere fra loro, comprende almeno una delle seguenti Operazioni: - adattamento della proiezione delle palpebre e del contorno degli occhi del modello (M) alle regioni omologhe delle immagini di volto (I) con almeno una fra un'operazione di traslazione ed una trasformazione affine, - adattamento in senso verticale del naso mediante almeno una fra un'operazione di scalamento ed un'operazione di deformazione tramite trasformazione affine, - modifica della bocca tramite almeno un'operazione di trasformazione affine, - traslazione e scalamento della zona compresa fra la base del naso e l'estremità superiore della bocca, e - adattamento della zona compresa fra l'estremità inferiore della bocca e la punta del mento tramite traslazione e scalamento.
- 7. Procedimento secondo una qualsiasi delle precedenti rivendicazioni, caratterizzato dal fatto che comprende, come operazione terminale della modifica di detto modello (M), l'operazione di posizionare dette superfici di occhio (OD, OS) e/odi denti (DS, DI) a ridosso di detta superficie di volto (V).
- 8. Procedimento secondo una qualsiasi delle precedenti rivendicazioni, caratterizzato dal fatto che detta modifica della struttura del modello (M) viene realizzata sotto forma di una operazione geometrica attuata posizionando detta immagine di volto (I) e detto modello (M) in posizioni specularmente opposte rispetto all'origine (0) di un sistema cartesiano tridimensionale.(X, Y, Z).
- 9. Procedimento secondo una qualsiasi delle precedenti rivendicazioni, caratterizzato dal fatto che comprende inoltre l'operazione di applicare a detto modello modificato una rispettiva tessitura.
- 10. Procedimento secondo la rivendicazione 8 e la rivendicazione 9, caratterizzato dal fatto che comprende le operazioni di calcolare almeno uno dei parametri scelti nel gruppo fra: - distanza (a) fra detta origine (O) ed un punto di centro di detto modello (M), e - distanza (λ) fra detta origine (0) ed il piano di detta immagine di volto (Y) e l'operazione di applicare detta tessitura a detto modello modificato (M) tramite un procedimento di texture binding attuato sulla base di almeno uno di detti parametri di distanza.
- 11. Procedimento secondo la rivendicazione 9 o la rivendicazione 10, caratterizzato dal fatto che comprende le operazioni di: - provvedere una pluralità di dette immagini di volto (I) corrispondenti a punti di vista differenti di detto volto,. - creare la tessitura da applicare a detto modello (M) generando, per ciascuna di dette immagini di volto, una rispettiva informazione di tessitura sotto forma di triangoli .rettangoli di dimensione costante, - accoppiare triangoli relativi alle informazioni di tessitura ottenute da più immagini in coppia due a due così da ottenere, come risultato dell'unione, rispettive forme rettangolari, e - applicare detta tessitura a detto modello modificato sotto,forma di una matrice dei rettangoli ottenuta tramite l'accoppiamento a due a due di detti triangoli rettangoli.
Priority Applications (12)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| IT1998TO000828A IT1315446B1 (it) | 1998-10-02 | 1998-10-02 | Procedimento per la creazione di modelli facciali tridimensionali apartire da immagini di volti. |
| US09/409,032 US6532011B1 (en) | 1998-10-02 | 1999-09-29 | Method of creating 3-D facial models starting from face images |
| JP27936999A JP3288353B2 (ja) | 1998-10-02 | 1999-09-30 | 顔イメージから開始して3d顔モデルを作る方法 |
| ES99119498T ES2237010T3 (es) | 1998-10-02 | 1999-10-01 | Procedimiento para la creacion de modelos faciales en 3d a partir de imagenes faciales. |
| AT04002244T ATE504896T1 (de) | 1998-10-02 | 1999-10-01 | Verfahren zur erzeugung von 3-d gesichtsmodellen aus gesichtsbildern |
| AT99119498T ATE286286T1 (de) | 1998-10-02 | 1999-10-01 | Verfahren zur 3-d gesichtsmodellerzeugung aus gesichtsbildern |
| EP99119498A EP0991023B1 (en) | 1998-10-02 | 1999-10-01 | A method of creating 3-D facial models starting from face images |
| DE69922898T DE69922898T2 (de) | 1998-10-02 | 1999-10-01 | Verfahren zur dreidimensionalen Gesichtsmodellerzeugung aus Gesichtsbildern |
| CA002284348A CA2284348C (en) | 1998-10-02 | 1999-10-01 | A method of creating 3 d facial models starting from face images |
| EP04002244A EP1424655B1 (en) | 1998-10-02 | 1999-10-01 | A method of creating 3-D facial models starting from facial images |
| DE69943344T DE69943344D1 (de) | 1998-10-02 | 1999-10-01 | Verfahren zur Erzeugung von 3-D Gesichtsmodellen aus Gesichtsbildern |
| ES04002244T ES2366243T3 (es) | 1998-10-02 | 1999-10-01 | Procedimiento de creación de modelos faciales 3d a partir de imágenes faciales. |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| IT1998TO000828A IT1315446B1 (it) | 1998-10-02 | 1998-10-02 | Procedimento per la creazione di modelli facciali tridimensionali apartire da immagini di volti. |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| ITTO980828A1 true ITTO980828A1 (it) | 2000-04-02 |
| IT1315446B1 IT1315446B1 (it) | 2003-02-11 |
Family
ID=11417076
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| IT1998TO000828A IT1315446B1 (it) | 1998-10-02 | 1998-10-02 | Procedimento per la creazione di modelli facciali tridimensionali apartire da immagini di volti. |
Country Status (8)
| Country | Link |
|---|---|
| US (1) | US6532011B1 (it) |
| EP (2) | EP1424655B1 (it) |
| JP (1) | JP3288353B2 (it) |
| AT (2) | ATE504896T1 (it) |
| CA (1) | CA2284348C (it) |
| DE (2) | DE69943344D1 (it) |
| ES (2) | ES2237010T3 (it) |
| IT (1) | IT1315446B1 (it) |
Families Citing this family (70)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6807290B2 (en) * | 2000-03-09 | 2004-10-19 | Microsoft Corporation | Rapid computer modeling of faces for animation |
| DE10018143C5 (de) * | 2000-04-12 | 2012-09-06 | Oerlikon Trading Ag, Trübbach | DLC-Schichtsystem sowie Verfahren und Vorrichtung zur Herstellung eines derartigen Schichtsystems |
| RU2218593C2 (ru) * | 2000-07-10 | 2003-12-10 | Свириденко Андрей Владимирович | Способ телекоммуникаций в компьютерных сетях |
| TW517210B (en) * | 2000-08-31 | 2003-01-11 | Bextech Inc | A method for generating speaking expression variation without distortion in 2D picture using polygon computation |
| US6963839B1 (en) | 2000-11-03 | 2005-11-08 | At&T Corp. | System and method of controlling sound in a multi-media communication application |
| US20080040227A1 (en) * | 2000-11-03 | 2008-02-14 | At&T Corp. | System and method of marketing using a multi-media communication system |
| US6976082B1 (en) | 2000-11-03 | 2005-12-13 | At&T Corp. | System and method for receiving multi-media messages |
| US7035803B1 (en) | 2000-11-03 | 2006-04-25 | At&T Corp. | Method for sending multi-media messages using customizable background images |
| US6990452B1 (en) | 2000-11-03 | 2006-01-24 | At&T Corp. | Method for sending multi-media messages using emoticons |
| US7203648B1 (en) | 2000-11-03 | 2007-04-10 | At&T Corp. | Method for sending multi-media messages with customized audio |
| US7091976B1 (en) * | 2000-11-03 | 2006-08-15 | At&T Corp. | System and method of customizing animated entities for use in a multi-media communication application |
| US7020305B2 (en) * | 2000-12-06 | 2006-03-28 | Microsoft Corporation | System and method providing improved head motion estimations for animation |
| JP4419320B2 (ja) * | 2000-12-25 | 2010-02-24 | コニカミノルタホールディングス株式会社 | 3次元形状データの生成装置 |
| KR100422471B1 (ko) * | 2001-02-08 | 2004-03-11 | 비쥬텍쓰리디(주) | 정면 및 측면 사진 정보를 이용한 개인 포토 아바타 생성장치 및 방법 |
| US20020154174A1 (en) * | 2001-04-23 | 2002-10-24 | Redlich Arthur Norman | Method and system for providing a service in a photorealistic, 3-D environment |
| US9400921B2 (en) * | 2001-05-09 | 2016-07-26 | Intel Corporation | Method and system using a data-driven model for monocular face tracking |
| SE519929C2 (sv) * | 2001-07-26 | 2003-04-29 | Ericsson Telefon Ab L M | Förfarande, system och terminal för att under pågående samtal ändra eller uppdatera tex. avatarer på andra användares terminaler i ett mobiltelekommunikationssystem |
| RU2245580C2 (ru) * | 2001-08-10 | 2005-01-27 | Свириденко Андрей Владимирович | Способ представления человека |
| GB2382289B (en) | 2001-09-28 | 2005-07-06 | Canon Kk | Method and apparatus for generating models of individuals |
| US20030069732A1 (en) * | 2001-10-09 | 2003-04-10 | Eastman Kodak Company | Method for creating a personalized animated storyteller for audibilizing content |
| US7671861B1 (en) * | 2001-11-02 | 2010-03-02 | At&T Intellectual Property Ii, L.P. | Apparatus and method of customizing animated entities for use in a multi-media communication application |
| GB2389289B (en) * | 2002-04-30 | 2005-09-14 | Canon Kk | Method and apparatus for generating models of individuals |
| CN1313979C (zh) * | 2002-05-03 | 2007-05-02 | 三星电子株式会社 | 产生三维漫画的装置和方法 |
| US7257236B2 (en) | 2002-05-22 | 2007-08-14 | A4Vision | Methods and systems for detecting and recognizing objects in a controlled wide area |
| US7174033B2 (en) | 2002-05-22 | 2007-02-06 | A4Vision | Methods and systems for detecting and recognizing an object based on 3D image data |
| JP4357155B2 (ja) * | 2002-05-28 | 2009-11-04 | 株式会社セガ | アニメーション画像の生成プログラム |
| ITTO20020724A1 (it) * | 2002-08-14 | 2004-02-15 | Telecom Italia Lab Spa | Procedimento e sistema per la trasmissione di messaggi su |
| EP1431810A1 (de) * | 2002-12-16 | 2004-06-23 | Agfa-Gevaert AG | Verfahren zur automatischen Bestimmung von Farbdichte-Korrekturwerten für die Wiedergabe von digitalen Bilddaten |
| US20040152512A1 (en) * | 2003-02-05 | 2004-08-05 | Collodi David J. | Video game with customizable character appearance |
| US20040157527A1 (en) * | 2003-02-10 | 2004-08-12 | Omar Ruupak Nanyamka | Novelty articles for famous persons and method for making same |
| JP2006522411A (ja) * | 2003-03-06 | 2006-09-28 | アニメトリックス,インク. | 複数の特徴を含むオブジェクトの画像データベースの生成 |
| US7643671B2 (en) * | 2003-03-24 | 2010-01-05 | Animetrics Inc. | Facial recognition system and method |
| US7711155B1 (en) * | 2003-04-14 | 2010-05-04 | Videomining Corporation | Method and system for enhancing three dimensional face modeling using demographic classification |
| US7421097B2 (en) * | 2003-05-27 | 2008-09-02 | Honeywell International Inc. | Face identification verification using 3 dimensional modeling |
| US7388580B2 (en) * | 2004-05-07 | 2008-06-17 | Valve Corporation | Generating eyes for a character in a virtual environment |
| RU2285288C2 (ru) * | 2004-08-11 | 2006-10-10 | Общество с ограниченной ответственностью "Научно-производственное предприятие "ГАРАНТ-Сервис" | Способ фиксации и визуализации вида изменяющегося объекта в любой из моментов или периодов времени (варианты) |
| CA2553546A1 (en) * | 2005-07-29 | 2007-01-29 | Avid Technology, Inc. | Three-dimensional animation of soft tissue of characters using controls associated with a surface mesh |
| US20070080967A1 (en) * | 2005-10-11 | 2007-04-12 | Animetrics Inc. | Generation of normalized 2D imagery and ID systems via 2D to 3D lifting of multifeatured objects |
| JP4760349B2 (ja) * | 2005-12-07 | 2011-08-31 | ソニー株式会社 | 画像処理装置および画像処理方法、並びに、プログラム |
| US7567251B2 (en) * | 2006-01-10 | 2009-07-28 | Sony Corporation | Techniques for creating facial animation using a face mesh |
| US8047915B2 (en) | 2006-01-11 | 2011-11-01 | Lyle Corporate Development, Inc. | Character for computer game and method |
| US8059917B2 (en) * | 2007-04-30 | 2011-11-15 | Texas Instruments Incorporated | 3-D modeling |
| US20080298643A1 (en) * | 2007-05-30 | 2008-12-04 | Lawther Joel S | Composite person model from image collection |
| KR100940862B1 (ko) * | 2007-12-17 | 2010-02-09 | 한국전자통신연구원 | 3차원 얼굴 애니메이션을 위한 헤드 모션 추적 방법 |
| US8131063B2 (en) | 2008-07-16 | 2012-03-06 | Seiko Epson Corporation | Model-based object image processing |
| US8029140B2 (en) | 2008-09-18 | 2011-10-04 | Disney Enterprises, Inc. | Device to produce a floating image |
| US8042948B2 (en) * | 2008-09-18 | 2011-10-25 | Disney Enterprises, Inc. | Apparatus that produces a three-dimensional image |
| US8208717B2 (en) | 2009-02-25 | 2012-06-26 | Seiko Epson Corporation | Combining subcomponent models for object image modeling |
| US8204301B2 (en) | 2009-02-25 | 2012-06-19 | Seiko Epson Corporation | Iterative data reweighting for balanced model learning |
| US8260039B2 (en) | 2009-02-25 | 2012-09-04 | Seiko Epson Corporation | Object model fitting using manifold constraints |
| US8260038B2 (en) | 2009-02-25 | 2012-09-04 | Seiko Epson Corporation | Subdivision weighting for robust object model fitting |
| KR101640458B1 (ko) * | 2009-06-25 | 2016-07-18 | 삼성전자주식회사 | 영상 장치 및 컴퓨터 판독 기록매체 |
| US20110025689A1 (en) * | 2009-07-29 | 2011-02-03 | Microsoft Corporation | Auto-Generating A Visual Representation |
| EP2337327B1 (de) | 2009-12-15 | 2013-11-27 | Deutsche Telekom AG | Verfahren und Einrichtung zur Identifizierung von Sprechern in Bild- und Videonachrichten |
| EP2337326B1 (de) | 2009-12-15 | 2014-02-19 | Deutsche Telekom AG | Verfahren und Vorrichtung zur Hervorhebung ausgewählter Objekte in Bild- und Videonachrichten |
| US8884982B2 (en) | 2009-12-15 | 2014-11-11 | Deutsche Telekom Ag | Method and apparatus for identifying speakers and emphasizing selected objects in picture and video messages |
| WO2012007795A1 (en) * | 2010-07-16 | 2012-01-19 | Sony Ericsson Mobile Communications Ab | Three dimensional face modeling and sharing based on two dimensional images |
| CN102129706A (zh) * | 2011-03-10 | 2011-07-20 | 西北工业大学 | 一种虚拟人眼部情感表现模拟方法 |
| CN102902355B (zh) * | 2012-08-31 | 2015-12-02 | 中国科学院自动化研究所 | 移动设备的空间交互方法 |
| GB2510201B (en) * | 2013-01-29 | 2017-05-03 | Toshiba Res Europe Ltd | A computer generated head |
| US10708545B2 (en) | 2018-01-17 | 2020-07-07 | Duelight Llc | System, method, and computer program for transmitting face models based on face data points |
| US12401911B2 (en) | 2014-11-07 | 2025-08-26 | Duelight Llc | Systems and methods for generating a high-dynamic range (HDR) pixel stream |
| US12401912B2 (en) | 2014-11-17 | 2025-08-26 | Duelight Llc | System and method for generating a digital image |
| US12445736B2 (en) | 2015-05-01 | 2025-10-14 | Duelight Llc | Systems and methods for generating a digital image |
| KR101783453B1 (ko) * | 2015-10-05 | 2017-09-29 | (주)감성과학연구센터 | Au 기반의 안면 움직임 정보 추출 방법 및 장치 |
| KR20170081544A (ko) * | 2016-01-04 | 2017-07-12 | 한국전자통신연구원 | 체험 아이템 3d 복원 장치 및 방법 |
| WO2019177870A1 (en) | 2018-03-15 | 2019-09-19 | Magic Leap, Inc. | Animating virtual avatar facial movements |
| US10607065B2 (en) * | 2018-05-03 | 2020-03-31 | Adobe Inc. | Generation of parameterized avatars |
| CN108961369B (zh) * | 2018-07-11 | 2023-03-17 | 厦门黑镜科技有限公司 | 生成3d动画的方法和装置 |
| US10817365B2 (en) | 2018-11-09 | 2020-10-27 | Adobe Inc. | Anomaly detection for incremental application deployments |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1994023390A1 (en) * | 1993-03-29 | 1994-10-13 | Matsushita Electric Industrial Co., Ltd. | Apparatus for identifying person |
| US6031539A (en) * | 1997-03-10 | 2000-02-29 | Digital Equipment Corporation | Facial image method and apparatus for semi-automatically mapping a face on to a wireframe topology |
| US6154222A (en) * | 1997-03-27 | 2000-11-28 | At&T Corp | Method for defining animation parameters for an animation definition interface |
-
1998
- 1998-10-02 IT IT1998TO000828A patent/IT1315446B1/it active
-
1999
- 1999-09-29 US US09/409,032 patent/US6532011B1/en not_active Expired - Lifetime
- 1999-09-30 JP JP27936999A patent/JP3288353B2/ja not_active Expired - Lifetime
- 1999-10-01 DE DE69943344T patent/DE69943344D1/de not_active Expired - Lifetime
- 1999-10-01 DE DE69922898T patent/DE69922898T2/de not_active Expired - Lifetime
- 1999-10-01 EP EP04002244A patent/EP1424655B1/en not_active Expired - Lifetime
- 1999-10-01 EP EP99119498A patent/EP0991023B1/en not_active Expired - Lifetime
- 1999-10-01 AT AT04002244T patent/ATE504896T1/de not_active IP Right Cessation
- 1999-10-01 ES ES99119498T patent/ES2237010T3/es not_active Expired - Lifetime
- 1999-10-01 CA CA002284348A patent/CA2284348C/en not_active Expired - Lifetime
- 1999-10-01 AT AT99119498T patent/ATE286286T1/de not_active IP Right Cessation
- 1999-10-01 ES ES04002244T patent/ES2366243T3/es not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| ATE504896T1 (de) | 2011-04-15 |
| EP1424655A2 (en) | 2004-06-02 |
| ES2237010T3 (es) | 2005-07-16 |
| EP0991023A3 (en) | 2001-02-21 |
| EP1424655B1 (en) | 2011-04-06 |
| DE69922898D1 (de) | 2005-02-03 |
| ES2366243T3 (es) | 2011-10-18 |
| EP0991023B1 (en) | 2004-12-29 |
| JP3288353B2 (ja) | 2002-06-04 |
| JP2000113217A (ja) | 2000-04-21 |
| CA2284348C (en) | 2006-06-06 |
| US6532011B1 (en) | 2003-03-11 |
| EP0991023A2 (en) | 2000-04-05 |
| DE69943344D1 (de) | 2011-05-19 |
| EP1424655A3 (en) | 2006-08-30 |
| CA2284348A1 (en) | 2000-04-02 |
| IT1315446B1 (it) | 2003-02-11 |
| DE69922898T2 (de) | 2005-12-15 |
| ATE286286T1 (de) | 2005-01-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| ITTO980828A1 (it) | Procedimento per la creazione di modelli facciali tridimensionali apartire da immagini di volti. | |
| Alexander et al. | The digital emily project: Achieving a photorealistic digital actor | |
| Alexander et al. | Creating a photoreal digital actor: The digital emily project | |
| Alexander et al. | The digital emily project: photoreal facial modeling and animation | |
| CN113505212B (zh) | 一种智能化漫画生成系统及方法 | |
| CN100414566C (zh) | 平面图像全景重建立体图像的方法 | |
| WO2002013144A1 (en) | 3d facial modeling system and modeling method | |
| CN106373178A (zh) | 生成人工图像的装置和方法 | |
| JPH1011609A (ja) | 動画キャラクタの生成装置及び方法 | |
| Maraffi | Maya character creation: modeling and animation controls | |
| JP2012120080A (ja) | 立体写真撮影装置 | |
| CN112308957A (zh) | 一种基于深度学习的最佳胖瘦人脸肖像图像自动生成方法 | |
| CN112868052A (zh) | 用于提供具有六个自由度的至少部分内容的方法和系统 | |
| KR20200029968A (ko) | 딥 러닝 기술을 활용한 자동 캐릭터 얼굴 표정 모델링 방법 | |
| CN112967363A (zh) | 一种8k三维水墨动画制作方法 | |
| GB2558929A (en) | Optical illusion device | |
| JP2003006667A (ja) | アニメーション化された図形の画像処理方法 | |
| Dutreve et al. | Easy acquisition and real‐time animation of facial wrinkles | |
| US20070095234A1 (en) | Fabric printing having three-dimensional illusion | |
| KR20070111417A (ko) | 프로젝터를 이용한 의류 시뮬레이터 시스템 | |
| Jandrić et al. | Rendering process and methods for creating stylized and photorealistic computer-generated 3D characters for video games development with their comparison | |
| Keri et al. | A low cost computer aided design (CAD) system for 3D-reconstruction from serial sections | |
| Smith et al. | Three-dimensional reconstruction from multiple reflected views within a realist painting: an application to Scott Fraser's" Three way vanitas" | |
| Kawai et al. | Automatic generation of photorealistic 3d inner mouth animation only from frontal images | |
| Mattos et al. | 3D linear facial animation based on real data |