Redes neurais – Funções de ativação
Redes Neurais: Funções de ativação
Uma introdução sobre as Funções de ativação em redes neurais. No post anterior vimos uma introdução de como funcionam redes neurais. Vimos que uma rede neural faz processamentos através de neurônios distribuídos em camadas, que podem ser de entrada, ocultas ou de saída, sendo a primeira e a terceira as camadas de passagem de informação para dentro e para fora da rede neural, enquanto as camadas ocultas processam a informação.
Funções de ativação
O processamento em cada neurônio se dá pelo que chamamos de função de ativação. A escolha das funções de ativação de uma rede neural são uma consideração importante uma vez que definem como devem ser seus dados de entrada.
Vamos ver algumas das funções de ativação mais utilizadas:
Funções de ativação linear
É a função de ativação mais básica porque não altera a saída de um neurônio. Geralmente é utilizada nas camadas de saída em redes neurais de regressão.
Equação:
Gráfico:
Função de ativação com limite (threshold)
Outra simples função de ativação que define a saída 1 ou 0 de acordo com um limite estabelecido.
Equação:
Gráfico:
Função de ativação sigmoid
A função de ativação sigmoid é comumente utilizada por redes neurais com propagação positiva (Feedforward) que precisam ter como saída apenas números positivos, em redes neurais multicamadas e em outras redes com sinais contínuos.
Apesar de seu grande uso, a função de ativação tangente hiperbólica é geralmente uma escolha mais adequada.
Equação:
Gráfico:
Função de ativação tangente hiperbólica
A função de ativação tangente hiperbólica possui uso muito comum em redes neurais cujas saídas devem ser entre -1 e 1.
Equação:
Gráfico:
Função de ativação softmax
A função de ativação softmax é usada em redes neurais de classificação. Ela força a saída de uma rede neural a representar a probabilidade dos dados serem de uma das classes definidas. Sem ela as saídas dos neurônios são simplesmente valores numéricos onde o maior indica a classe vencedora.
Equação:
Nessa equação, i representa o índice do neurônio de saída (o) sendo calculado e j representa os índices de todos os neurônios de um nível. A variável z designa o vetor de neurônios de saída. Vale notar que a função de ativação softmax é calculada de forma diferente das demais apresentadas, uma vez que a saída de um neurônio depende dos outros neurônios de saída.
Conclusão
O processamento em neurônios de redes neurais são feitos pelo que chamamos de função de ativação e vimos algumas das mais utilizadas atualmente em redes neurais.
No próximo post da série de redes neurais iremos ver algumas das redes neurais mais utilizadas e quais seus domínios de problema.
