BRPI0403322B1 - função bi-hiperbólica e sua utilização como função de ativação em neurônios componentes de redes neurais artificiais - Google Patents

Abstract

"função bi-hiperbólica e sua utilização como função de ativação em neurônios componentes de redes neurais artificiais". a inovação ora proposta descreve a função bi-hiperbólica, suas derivadas, e, essencialmente, sua utilização como função de ativação de neurônios, componentes fundamentais na constituição de redes neurais artificiais.

Description

(54) Título: FUNÇÃO BI-HIPERBÓLICA E SUA UTILIZAÇÃO COMO FUNÇÃO DE ATIVAÇÃO EM NEURÔNIOS COMPONENTES DE REDES NEURAIS ARTIFICIAIS (51) Int.CI.: G06N 3/02; G06F 15/18 (73) Titular(es): ADILSON ELIAS XAVIER (72) Inventor(es): ADILSON ELIAS XAVIER (85) Data do Início da Fase Nacional: 19/08/2004

1/8 * · » ♦ · t

• >θ

Relatório Descritivo da Patente de Invenção para

FUNÇÃO BI-HIPERBÓLICA Ξ SUA UTILIZAÇÃO COMO FUNÇÃO DE ATIVAÇÃO EM NEURÔNIOS COMPONENTES DE REDES NEURAIS ARTIFICIAIS.

Campo Técnico

A invenção refere-se à utilização de uma especial função de ativação de um neurônio, componente elementar na construção de redes neurais artificiais.

Essas redes neurais têm o mais amplo espectro de aplicações, nas mais diversas atividades técnicas. Ademais, sua utilização tem mantido um expressivo crescimento a cada ano.

A implementação dessas redes neurais é realizada quer em software ou em circuitos hardwired, sob a forma de inumeráveis variações.

Um elemento comum entre todas essas variações é a presença ubíqua da função de ativação, como parte protagônica no 'componente elementar de uma rede neural: o neurônio.

As redes neurais integram sistemas utilizados em áreas tais como: eletrônica, controle, telecomunicações, dentre outras.

Descrição Geral de uma Rede Neural As implementações de redes neurais associadas a aplicações práticas se utilizam, de diversas funções de ativação, conforme sobejamente registrado na literatura científica sobre esse assunto.

Primeiramente, será uma descrição sucinta de uma rede neural, do funcionamento de um neurônio e do papel de uma função de ativação.

Uma rede neural é formada por um conjunto de neurônios interligados. Assim, o funcionamento de um

2/8 neurônio constitui um elemento fundamental na operação dessas redes.

Haykin S., em seu livro Neural Networks: A Comprehensive Foundation, publicado em 1994 pela editora Macmillan College Publising Company, por exemplo, descreve claramente um modelo para um neurônio, conforme apresentado abaixo:

Xi

X2 <\

Funçêo de Ativação

Valores de Entrada /Agregação’

Φ(·)

-y_k

Valor de Saída

Xo —IjAAgr Pesos

Sinâpticos &

Parâmetros

Dado um vetor de entradas x = (xi, xs, resposta y^, saída de um neurônio genérico k, é calculada segundo três procedimentos básicos:

-Um conjunto de pesos associados a esse neurônio k, denominados também por sinapses, w^, . . . , w^p} , é aplicado às componentes de entrada;

-A seguir, é feita a agregação das componentes ponderadas pelas sinapses;

-Finalmente, esse valor agregado, transladado por um parâmetro &*, ê fornecido a uma função de ativação φ(.), que produz a resposta do neurônio.

Tais procedimentos compreendem a seguinte seqüência de cálculos:

^v k

Ys,

3/8

As funções de ativação φ(,) tipicamente fornecem a resposta dentro do intervalo [0,1]» que, sem perda de generalidade, referencial.

Técnicas Anteriores

Abaixo, são alternativas usuais de correspondentes derivadas 1” Função Degrau

Φ,ίν) = sera tomado, neste apresentadas funções de relatório, como as principais ativação e suas

1, se v > 0 .

0, se v < 0 .

Conforme representada na figura 1, a derivada da função degrau é φ^(ν) = θ» para qualquer v Ψ 0 , enquanto, não é definida no ponto v = 0.

A descontinuidade na origem e o valor nulo da derivada nos demais pontos praticamente anulam a utilidade prática dessa função φι {.) .

2- Função Patamar φ₃(ν, b)

0, se v < — b;

<v + b)/2b, se -b < v < b; 1, se v > b.

figura α da acordo

A função patamar assume a forma apresentada na 2. 0 valor do parâmetro b está associado ao ângulo inclinação da parte intermediária dessa função, de com a seguinte expressão: b=l/(2tg a).

A sua derivada não é definida nos pontos v = -1/2 1/2, e nos demais valores assume:

φ/ν, b) 0, para v < -b; l/2b , para -b < v < b; 0, para v > b.

• ········ ·♦ • ·

4/8 ·« ········

A insensibilidade da derivada fora do intervalo (-b, b) limita consideravelmente o uso prático dessa função de ativação φ₂ (.).

3- Função Logística

A função de ativação mais amplamente utilizada é a função logística:

φ₃(ν, a) expressão:

Ί í + e derivada da função logística φ₃(ν, a) = a0₃ (v, a) (l - φ₃{ν, a)) apresenta

A figura 3 mostra os gráficos dessa função para 3 diferentes valores do parâmetro a.

A função logística oferece a importante flexibilidade dada por sua inclinação na origem, φ₃(0, a) i/4 , ser variável com o parâmetro a, conforme ilustra a figura 3,

Além disso, a função logística apresenta propriedades de simetria e de completa diferenciabilidade, ou seja, pertence à classe de funções C”.

Outra função também muito utilizada como função de ativação é a função tangente hiperbólica, que pode ser colocada sob a forma:

- e~^av

Φ₄<ν, a) + e’’^v

A função tangente hiperbólica, entretanto, corresponde unicamente à transformação elementar da função logística:

φ₄(ν, a) = 2 · φ₃(ν, a) - 1

Dessa forma, a função tangente hiperbólica pode ser considerada como simplesmente uma derivação particular da função logística.

• · ·

5/8

Descrição Detalhada da Invenção

A função de ativação proposta, aqui denominada função bi-hiperbólica, e suas derivadas primeira e segunda, na sua forma mais geral, assumem as seguintes expressões:

_t(v, λ, τ₁₍ τ₂) = φ,² (ν + £) φ_χ<ν, λ, τ₂, τ₂) = φ_χ’(ν, λ, τ₁₍ τ₂) φ² (ν . 1..

4λ \2 ο ) + ^τ2 + λ² (ν + Α) λ²Α λ² (

Α.

Λ/λ² (ν

4λ λ² ) + ^τ

Ί 2_2

Λ Τη (λ² (ν + ^)² + ΑΑ² (λ² (ν - + τ²)^3/2 gráfico dessa função proposta é apresentada na figura 4,

A função φ_χ(. ,λ,τι,Τ;;) apresenta a desejada propriedade de possuir diferencíabilidade infinita, ou seja, pertence à classe de funções C“.

A função <px( - ,À,ti,t2) apresenta as seguintes propriedades triviais, consentâneas às demais funções de ativação:

lim φ_χ(ν, λ, τ_ιζ τ₂) = 0 ν —>

lim φ_χ(ν, λ, τ,, τ₂) = 1 ν —> ©ο lim Φ_χ(ν, λ, τ_χ, τ₂) = 0

V —Φ -«>

lim φ_χ(ν, λ, τ,, τ_?) = 0 ν —> οο '

Diversamente das funções de ativação ortodoxas, quando τχ Ψ t2, a função φ_χ (. ,λ,τ_1ζτ2) apresenta as diferenciadas propriedades de não oferecer simetria, bem como, de possuir uma imagem que ultrapassa o tradicional espaço definido pelo intervalo [0,1], Assim, quando Ti > T2, o valor da função φ_χ(. , λ,τχ,Έϊ) ultrapassa o valor 1, situação retratada pelo gráfico da figura 4.

6/8 ·· ········ ·· ·· ·· · ··«·· « » » · * · * ·» · · · * · · «« ·· · · · · · • ·· ·· »· ·«······ τι=τ₂=τ, assume uma a função forma mais

Inversamente, quando τι<τ₂, o valor da função <Pxí. ,λ,τχ,Τζ) assume valores menores do que 0.

Em sua forma mais particular, igualando os valores dos parâmetros

Φχ (· Α,Τχ,τυ = φ_χ (. ,λ,τ) consentânea a outras funções de ativação, tendo imagem no intervalo [0,1] e oferecendo a propriedade de simetria, conforme retratado pelos gráficos das figuras 5 e 6. φ_χ(ν, λ, τ) = φ/ (ν + ^)² + τ² - ^λ² (

4λ \2 o ) + τ +

As derivadas da função expressões:

λ² (v + A-) φ_χ{ν, λ, τ) assumem as φ_χ(ν, λ, τ) φ_χ'(ν, λ, τ) seja:

7^χ2 (^ν +...............ác)^{2 + χ2} _λ²τ²_ (λ² (ν + *)² + τ²)^3/2 função [φχίν,λ,τ) -1/2]

_2 \3 / 2 (λ² (ν - -7) + τ²)³ anti-simétrica, ou φχ(ν,λ,τ)-1/2 = -[φχ(-ν,λ,τ}-1/2]

No ponto ν=0, são observados os seguintes valores para a função φχ e para sua derivada:

φχ(Ο,λ,τ) φ_χ(0, λ, τ} = 2 lim φ„(0, λ, τ) τ-> 0 ^Λ = 1/2, λ λ/ι/16 + τ² = 2λ

Na figura 5, são mostrados gráficos para a forma simétrica da função proposta correspondentes a três diferentes valores para o parâmetro λ, mantendo-se o parâmetro τ constante. Pode-se ver um efeito similar àquele produzido pela variação do parâmetro a na função logística, conforme apresentado pela figura 3, Dessa forma,

7/8 • ♦··· ··«* ·* ···«·* ·· « · ·· ···· · ··· » · ·*«··» » • ····«· « ···«· · ·· ········ pode-se associar o parâmetro λ à inclinação da função na origem.

função ;(.,λ,τ), apresenta, ademais.

os seguintes comportamentos assintóticos:

lím φ_χ(ν, λ, τ) = φ-Jv) λ —> ΟΟ ^Χτίψ ^λ' ^{Τ) =} Φ2 Í^V'

Podemos assim aproximar a função de ativação patamar φ₂ (·, ) , por uma forma continuamente diferenciável usando a função φ_χ (-, ·, ·) , podendo essa aproximação ser tão próxima quanto se queira. Adicionalmente, pode-se efetuar essa aproximação assintótica mantendo constante uma inclinação com especificado ângulo α na origem, v=0, bastando para isso se fazer a seguinte re-parametrização:

λ = 4λ'φ./ΐ6 + τ² sendo λ’ = j tg α . Na figura 6, são mostrados 2 gráficos da função proposta com uma inclinação constante na origem. Aí pode-se ver, que o parâmetro τ está associado ao afastamento da curva às duas assíntotas horizontais.

Em termos computacionais, através do cálculo de 100.000.000 valores da função e de sua derivada primeira, com argumentos aleatoriamente gerados, pode ser observado que a função φ_χ (·, ·, ·, ·) é 24,8% mais rápida que a função logística. Esse resultado foi obtido através de simulação programada na linguagem FORTRAN, compilador COMPAQ, computador tipo XBM-PC, com lOOOMhz de velocidade.

A existência de dois parâmetros na função bihiperbólica Φχ(.,λ,Τ)< em sua forma mais particular quando Τι = v = τ, um a mais que as demais funções de ativação, enseja à essa função uma maior flexibilidade para representar mais adequadamente os fenômenos modelados com

8/8 • · · ·······» redes neurais implementadas com as funções de ativação ortodoxas.

^w10

Numa rede neural multicamadas, por exemplo, essa maior flexibilidade engendra, certamente à função de ativação ora proposta, o poder de aproximar qualquer função de uma forma mais sintética, com menor número de neurônios.

Através da manipulação conveniente de seus parâmetros, em particular do parâmetro τ , a função φ_χ(.,λ,τ), oferece ademais a possibilidade de poder enfrentar mais convenientemente o desastroso fenômeno de saturação, que não raramente ocorre no treinamento de redes neurais, (vide, por exemplo, Looney C. G. , à pagina 161 de seu livro Pattern Recognition Using Neural Networks, publicado pela editora Oxford University Press em 1997, ou à página 165 do livro de Haykin, acima especificado).

Igualmente, uma manipulação adequada dos parâmetros de φ_χ(.,λ,τ), em tese, pode ser usada para se evitar um indesejado mínimo local.

Em relação às questões de saturação e de mínimo local, acima referidas, a manipulação dos parâmetros e Tz só pode oferecer à função assimétrica (ρχί-ΛΛι.^) possibilidades adicionais para enfrentá-las.

Claims (5)

1. REIVINDICAÇÕES

   1- Método de utilização da função bi-hiperbólica como função ativação de neurônios artificiais em rede neural, em que dado um vetor de entradas x ~ (xj, X2, . . ., Xp) , a resposta y*, saída de um neurônio genérico k, é calculada segundo três procedimentos básicos:

   - Um conjunto de pesos associados a esse neurônio k_f wjt = (wjti/ Wk2r wjtp), é aplicado às componentes de entrada;

   A seguir, é feita a agregação das componentes ponderadas pelos pesos;

   - Finalmente, esse valor agregado, transladado por um parâmetro θχ, é fornecido a uma função de ativação φ(. ) , que produz a resposta do neurônio;

   compreendendo a seguinte seqüência de cálculos:

   j=i = A - θχ y_t = 4Kv_t) em que a função φ(.) na última expressão é caracterizada pela forma particular da função bi-hiperbólica

   <p_x(v, λ, , τ₂) = (V + <t)² + < - aA² (^v “ Ir) + ^τ2 + 2 onde v é o argumento de entrada e λ, τ_χ e τ₂ são parâmetros de ajuste, e com as derivadas primeira e segunda

   desta função bi-hiperbólica utilizadas nos procedimentos de aprendizado da rede neural.
2. 2- Utilização da função bi-hiperbólica, conforme descrita na reivindicação 1, caracterizada pelo uso como função de ativação de neurônios artificiais, seja a implementação da rede neural alvo por circuitos eletrônicos, moleculares ou óticos, analógicos ou digitais (hardware), ou combinações destas técnicas.
3. 3- Utilização da função bi-hiperbólica, conforme descrita na reivindicação 1 e de acordo com a reivindicação 2, caracterizada pelo uso da relação de desigualdade entre os parâmetros τχ e τ₂ no controle do grau de simetria da função de ativação, de forma a permitir seu uso em ambas as formas, assimétrica, fazendo ^ou simétrica, fazendo τ₁ = τ₂, quando assume a expressão mais simplificada:

   φ_χ(ν, λ, τ) = (ν + ^)² + τ² - /λ² (ν - ^)² + τ² + |
4. 4 - Utilização da função bi-hiperbólica, conforme descrita na reivindicação 1 e de acordo com a reivindicação 2, caracterizada pelo uso do parâmetro λ no controle do grau de inclinação da função de ativação, de forma a permitir o uso da função de ativação tanto como Função Degrau, Função Patamar, ou mesmo imitar a Função Logística e derivações elementares tais como a Função Tangente Hiperbólica, com qualquer grau de inclinação desejado entre 0° e 90°, enquanto mantendo a desejável característica de diferenciabilídade, normalmente requerida nos processos de aprendizado.
5. 5 - Utilização da função bi-hiperbólica, conforme descrita na reivindicação 1 e de acordo com a reivindicação 2, caracterizada pelo uso do parâmetro τ no controle do grau de suavidade da função de ativação, de forma a permitir o uso da função de ativação tanto como aproximação da Função Patamar, ou como Função Logística e derivações elementares tais como a Função Tangente Hiperbólica, mantendo-se neste caso a inclinação na origem constante, enquanto mantendo a desejável característica de diferenciabilídade, normalmente requerida nos processos de aprendi zado.

   1/3 ·»* ··· • · * « » » » · » • * · ♦ *··· · · ··· * · ··»·* * » · • »«· ····* * »**«« · ·· ·· *·*····«

   FIGURAS

   BS S «S ' i.í