ITTO950216A1 - Metodo per velocizzare l'esecuzione di reti neurali per il trattamento di segnali correlati. - Google Patents

Abstract

IL METODO PERMETTE LA VELOCIZZAZIONE DELL'ESECUZIONE DI UNA AMPIA CLASSE DI RETI NEURALI PER IL TRATTAMENTO DI SEGNALI D'INGRESSO A LENTA EVOLUZIONE TEMPORALE, QUALI, AD ESEMPIO, SEGNALI VOCALI, RADAR, SONAR, VIDEO, E NON RICHIEDE HARDWARE SPECIALIZZATO, COSTOSO O DIFFICILMENTE REPERIBILE.IL METODO RICHIEDE DI MEMORIZZARE PER OGNI NEURONE DELLA RETE IL VALORE DI ATTIVAZIONE AD UN CERTO ISTANTE E DI CONFRONTARLO CON QUELLO CALCOLATO ALL'ISTANTE SUCCESSIVO. SE L'ATTIVAZIONE E' UGUALE, IL NEURONE NON SVOLGE ALCUNA ATTIVITA', ALTRIMENTI ESSO PROPAGA LA DIFFERENZA DI ATTIVAZIONE AI NEURONI A CUI AFFERISCE, MOLTIPLICATA PER I PESI DI INTERCONNESSIONE.

Description

Descrizione dell'invenzione avente per titolo”

"Metodo per velocizzare l'esecuzione di reti neurall per il trattamento di segnali correlati"

Testo della descrizione

La presente invenzione si riferisce ai sistemi per il riconoscimento automatico di segnali ed in particolare riguarda un metodo per velocizzare l'esecuzione di reti neurali per il trattamento di segnali correlati.

Le reti neurali sono un modello elaborativo parallelo, che riproduce in forma molto semplificata l'organizzazione della corteccia cerebrale. Una rete neurale è costituita da numerose unità elaborative, dette neuroni, fortemente interconnesse mediante collegamenti di varia intensità, detti sinapsi o pesi di interconnessione.

I neuroni sono in genere disposti secondo una struttura a livelli, un livello d'ingresso, uno o più livelli intermedi e un livello d'uscita. Partendo dalle unità di ingresso, a cui viene fornito il segnale da trattare, l'elaborazione si propaga ai livelli successivi deila rete fino alle unità di uscita, che forniscono il risultato. Una rete neurale non viene programmata, ma addestrata mediante una serie di esempi del fenomeno da modellare. Varie realizzazioni di reti neurali sono descritte, ad esempio, nel libro di D. Rumelhart 'Parallel Distributed Processing", voi. 1 Foundations. MIT Press, Cambridge, Mass., 1986.

La tecnologia delle reti neurali è applicabile in molti settori, quali la stima di funzioni, il trattamento e la classificazione di segnali audio e video, la controllistica, la previsione e l'ottimizzazione, anche se presenta ancora problemi dovuti alla carenza di mezzi sufficientemente potenti in termini di velocità e di capacità elaborativa. E' noto infatti che l’esecuzione di una rete neurale, quando viene effettuata mediante emulazione su un elaboratore sequenziale, è molto onerosa, soprattutto nei casi in cui sono richieste reti con parecchie migliaia di pesi. Se si aggiunge la necessità di trattare in tempo reale segnali continuamente variabili nel tempo, come ad esempio i segnali vocali, video, sonar o radar, l’utilizzo di tale tecnologia si arricchisce di ulteriori difficoltà.

Le soluzioni note a questo problema sono orientate in tre direzioni.

La prima è volta a diminuire la dimensione della rete facendo una potatura di pesi e di unità, come descritto ad esempio da R. Reed In "Pruning Algorithms - A Survey" in IEEE Transactions on Neural Networks, voi. 4, no. 5, 1993. Questi metodi hanno però una efficacia limitata in quanto il numero di pesi e di unità potate senza incorrere in un degrado di prestazioni è spesso molto limitato.

Una seconda linea si basa sull’implementazione su chip VLSI della rete neurale, sfruttando la sua intrinseca paraliellzzabilità. Questo metodo è potenzialmente molto promettente, ma non è attualmente ancora maturo. Esso inoltre comporta l'utilizzo di hardware specializzato, spesso motto costoso e non facilmente integrabile con gli elaboratori commerciali.

Una terza linea è <{>'utilizzo di hardware specializzato di tipo multiprocessore, distribuendo l'esecuzione della rete neurale sui vari processori. Come nel caso precedente anche questa eventualità richiede hardware non standard, costoso e difficilmente integrabile su piattaforme commerciali quali PC o workstations.

Ovvia ai suddetti inconvenienti il metodo per velocizzare l'esecuzione di reti neurali per il trattamento di segnali correlati, oggetto della presente invenzione, il quale permette la velocizzazione dell'esecuzione di una ampia classe di reti neurali per il trattamento di segnali d'ingresso sequenziali a lenta evoluzione temporale, quali, ad esempio, segnali vocali, radar, sonar, video, e non richiede hardware specializzato, costoso o difficilmente reperibile.

E' particolare oggetto della presente invenzione un metodo per velocizzare l'esecuzione di reti neurali per il trattamento di segnali correlati come definito nella parte caratterizzante della rivendicazione 1.

Queste ed altre caratteristiche della presente invenzione saranno meglio chiarite dalla seguente descrizione di una forma preferita di realizzazione della stessa, data a titolo di esempio non limitativo, e dai disegni annessi in cui:

- la Fig. 1 mostra una rete neurale Multi-layer Perceptron;

- la Fig. 2 mostra un singolo neurone i con le sue connessioni in avanti;

- la Fig. 3 mostra la quantizzazione del codominio della funzione di trasferimento sigmoide del neurone.

L’idea base del metodo è la seguente: poiché il segnale in ingresso è sequenziale ed evolve lentamente nel tempo In modo continuo, non è necessario ricalcolare per ogni ingresso tutti i valori di attivazione di tutti I neuroni, ma basta propagare nella rete le differenze rispetto atl'ingresso precedente. Si passa cioè a lavorare non sui valori assoluti di attivazione dei neuroni al tempo t, ma sulle differenze rispetto alle attivazioni al tempo t-1. Quindi in ogni punto delia rete, se un neurone ha, al tempo t, una attivazione sufficientemente simile a quella del tempo 1-1 , esso non propaga in avanti alcun segnale. Poiché l'esecuzione della rete si basa sull’operazione elementare di propagazione del valore di attivazione di ogni neurone verso i neuroni successivi, mediata dai pesi sinaptici, si capisce quanto rilevante possa essere il limitare tale attività ai soli neuroni per cui si ha un apprezzabile cambiamento del livello di attivazione.

Sfruttando questa idea si può realizzare una esecuzione velocizzata della rete neurale, mediante propagazione delle differenze di attivazione, che permette di risparmiare fino ai due terzi del tempo di esecuzione nel caso del riconoscimento del parlato. Questo metodo ha il vantaggio di richiedere una modestissima quantità di memoria ausitlaria, e di non portare ad un apprezzabile degrado delle prestazioni, come si è verificato sperimentalmente.

La Fig. 1 mostra una rete neurale Muiti-layer Perceptron come quelle descritte nel già citato libro di D. Rumelhart "Parallel Distributed Processing”, il cui ingresso è un segnale campionato nel tempo e la cui uscita sono dei valori che corrispondono al trattamento desiderato, ad esemplo la classificazione del segnale in ingresso.

Ogni neurone dei livelli intermedi e di uscita calcola il suo ingresso totale netj come una somma dei prodotti delle attivazioni dei neuroni del livello inferiore oj per i pesi di interconnessione wi, secondo la formula è il peso che connette il neurone jal neurone i, e successivamente calcola la sua attivazione oj come una funzione non lineare dell'ingresso totale secondo la formula dove un valore costante tipico del neurone i. La suddetta funzione non lineare è la sigmoide, che ha un'espressione del tipo ed è compresa tra 0 e 1.

La Fig. 2 mostra un singolo neurone i con le sue connessioni in avanti, verso cui propaga le differenze di attivazione, e con le sue strutture di memoria richieste per il metodo di velocizzazione. contiene il valore di attivazione al tempo come nelle reti di neuroni convenzionali, e M2| quello al tempo precedente M, Oi(t-1). Anche gli altri neuroni della rete sono provvisti di simili strutture di memoria, ad esempio per il neurone k.

La Fig. 3 mostra la quantizzazione dell'insieme dei valori in uscita (codominio) della funzione di trasferimento sigmoide del neurone con lo scopo di quantizzare i livelli di attivazione dei neuroni, rendendo cosi possibile la condizione di uguaglianza dell'attivazione al tempo t e t-1 richiesta per non propagare le differenze. Si realizza cosi l'operazione elementare di velocizzazione dell'esecuzione della rete.

Descriviamo ora in dettaglio il metodo di esecuzione della rete neurale velocizzato.

Il metodo richiede di memorizzare per ogni neurone della rete il valore di attivazione al tempo t-1 e di confrontarlo con quello calcolato al tempo t (Fig. 2). Se l'attivazione è uguale, il neurone non svolge alcuna attività, altrimenti esso propaga la differenza di attivazione ai neuroni a cui af ferisce, moltiplicata per i pesi di interconnessione. Chiaramente, poiché l'attivazione di un neurone ò data da una funzione nonlineare continua del suo ingresso, è necessario quantizzare il codominio di tale funzione, solitamente la sigmoide

in un numero prefissato di valori, affinchè la condizione di uguaglianza

dell'attivazione possa avvenire (Fig. 3).

Questa quantizzazione del codominio della sigmoide Introduce una sorta di rumore di quantizzazione nella rete, ma poiché l'informazione è molto distribuita, tale errore tende statisticamente a compensarsi e non porta ad un apprezzabile degrado di prestazioni. Ovviamente bisogna stimare empiricamente il numero di valori di quantizzazione: tanto più è piccolo, tanto più il metodo accelera; non si può però eccedere per evitare il degrado delle prestazioni. Nel caso di reti Multi-layer Perceptron realistiche, con circa 50.000 -100.000 pesi, tale valore può andare orientativamente da 25 a 50.

Descriviamo ora in dettaglio l'esecuzione della rete neurale al generico tempo t, suddivisa nei cicli sui neuroni d'ingresso j, sui neuroni intermedi m e sui neuroni di uscita k.

Ciclo sui neuroni di ingresso:

1. per tutti i neuroni di Ingresso j si eseguono i seguenti passi:

1.1 si definisce l'attivazione del neurone di ingresso Oj(t) pari al valore j-esimo del segnale quantizzato al tempo t, dopo aver memorizzato il valore di attivazione precedente in

1.2 per ogni neurone intermedio m a cui il neurone j afferlsce. si incrementa l'ingresso totale netm del contributo provieniente dai neurone di ingresso j, pari alla differenza moltiplicata per il peso di Interconnessione

Ciclo sui neuroni intermedi:

2. per tutti i neuroni intermedi m si eseguono i seguenti passi:

2.1 si calcola l'attivazione quantizzata con la formula dove è la sigmoide quantizzata sul codominio, dopo aver memorizzato l'attivazione quantizzata precedente in

2.2 se il valore quantizzato di attivazione non si fa niente per il neurone m e si passa al neurone successivo, realizzando cosi l'operazione base di velocizzazione; altrimenti si prosegue.

2.3. per ogni neurone k a cui il neurone m afferisce, si incrementa l'ingresso totale netk del contributo provieniente dal neurone m, pari alla differenza

moltiplicata per il peso di interconnessione wkm-Ciclo sui neuroni di uscita:

3. per tutti i neuroni di uscita k si calcola l'attivazione esatta con la formula Ok = f(netk) dove f(x) è la sigmoide.

Questo metodo viene iterato per tutti i valori campionati del segnale correlato di ingresso, dal tempo iniziale t = 1 al tempo finale t - T, dove T costituisce il numero di elementi del segnale campionato in ingresso. Prima di iniziare l'esecuzione delta rete su un segnale si inizializzano per ogni neurone della rete, in quanto, net meccanismo di propagazione delle differenze il valore costante di ogni neurone viene definito all'inizio e non più alterato in seguito.

I vantaggi principali del metodo sono i seguenti:

a. l'ottimizzazione è dovuta ad una modifica concettuale dell'esecuzione della rete e non ad una ottimizzazione software, per cui il vantaggio è effettivo ed è riportabile su qualunque piattaforma hardware (anche su processore DSP);

b. l'utilizzo di memoria aggiuntiva è dell'ordine delie unità della rete, cioè dei neuroni, e non dell'ordine del pesi, per cui è molto contenuto;

c. scegliendo opportunamente il passo di quantizzazione del codominio della sigmoide si possono ottenere riduzioni notevoli del tempo di esecuzione senza apprezzabili perdite di prestazioni;

d. {'applicabilità del metodo travalica il dominio del riconoscimento del parlato, coprendo tutti i casi di ingresso sequenziale con dinamica continua ad evoluzione lenta (es. video, sonar, segnali medici);

e. nel caso peggiore di variabilità completa e continua dei segnali d'ingresso, il metodo converge al caso limite di una esecuzione standard della rete neurale, senza oneri aggiuntivi apprezzabili.

E' evidente che quanto descritto è stato dato a titolo di esempio non limitativo. Varianti e modifiche sono possibili senza per questo uscire dall'ambito di protezione delle rivendicazioni.

Claims (1)

1. Rivendicazioni 1. Metodo per velocizzare l'esecuzione di reti neuraii per il trattamento di segnali correlati, costituite da neuroni d'ingresso, da neuroni intermedi e da neuroni d'uscita interconnessi mediante collegamenti di diversa Intensità, caratterizzato dal fatto che l'esecuzione della rete neurale al generico tempo t comprende: un ciclo in cui per tutti I neuroni di ingresso j si eseguono i seguenti passi: 1.1 si definisce l'attivazione del neurone di ingresso pari al valore j-esimo del segnale correlato campionato al tempo t, dopo aver memorizzato il valore di attivazione precedente In j 1.2 per ogni neurone intermedio m a cui il neurone j afferisce, si Incrementa l'ingresso totale netm del contributo provieniente dal neurone di ingresso j, pari alla differenza ) moltiplicata per il peso di interconnessione wmj; un ciclo in cui per tutti i neuroni intermedi m si eseguono i seguenti passi: 2.1 si calcola l'attivazione quantizzata con dove è la sigmoide quantizzata sul codominio, dopo aver memorizzato l'attivazione quantizzata precedente in 2.2 se il valore quantizzato di attivazione non si fa niente per il neurone m e si passa al neurone successivo, realizzando cosi l'operazione base di velocizzazione; altrimenti si prosegue; 2.3. per ogni neurone k a cui il neurone m afferisce, si incrementa l'ingresso totale netk del contributo provieniente dal neurone m, pari alla differenza moltiplicata per il peso di interconnessione wkm! un ciclo in cui per tutti I neuroni di uscita k si calcola l'attivazione esatta con la formula 2. Metodo come nella rivendicazione 1, caratterizzato dal fatto che viene iterato per tutti i valori campionati dei segnale correlato d'ingresso. 3. Metodo come nella rivendicazione 1 , caratterizzato dal fatto che prima di iniziare l'esecuzione della rete su un segnale si inizializzano gli ingressi ponendo netj = Oi per ogni neurone i della rete, dove 0i è un valore costante di ogni neurone, che viene definito all'inizio e non più alterato In seguito. 4. Metodo come nella rivendicazione 1, caratterizzato dal fatto che il codominio della sigmoide è quantizzato con un numero di valori di quantizzazione compreso fra 25 a 50.