Funciones de activación

Tanto en las redes neuronales artificiales como biológicas, una neurona no sólo
transmite la entrada que recibe. Existe un paso adicional, una función de activación,
que es análoga a la tasa de potencial de acción disparando en el cerebro. La función
de activación utiliza la misma suma ponderada de la entrada anterior, 𝑧 = 𝑏 +
∑𝑖 𝑤𝑖 𝑥𝑖 , y la transforma una vez más como salida.

La función de activación se encarga de devolver una salida a partir de un valor de

entrada, normalmente el conjunto de valores de salida en un rango determinado
como (0,1) o (-1,1).

Se buscan funciones que las derivadas sean simples, para minimizar con ello el
coste computacional.

Históricamente, la función sigmoidea es la función de activación más antigua y

popular. Se define como:

1
𝜎(𝑥) =
1 + 𝑒 −𝑥

𝑒 denota la constante exponencial, que es aproximadamente igual a 2,71828. Una

neurona que utiliza la sigmoide como función de activación se le llama neurona
sigmoide. Primero establecemos que la variable 𝑧 equivale a nuestra suma
ponderada de entrada y después la pasamos a través de la función sigmoidea.

𝑧 = 𝑏 + ∑ 𝑤𝑖 𝑥𝑖
𝑖

1
𝜎(𝑧) =
1 + 𝑒 −𝑧

Aunque la ecuación parece complicada y arbitraria, en realidad tiene una forma

bastante simple. La podemos ver si trazamos el valor de 𝜎(𝑧) como función de la
entrada 𝑧

.
 Figura.- Función de activación sigmoidea

La función sigmoidea es continuamente diferenciable, y su derivada

convenientemente es 𝜎 ′ (𝑧) = 𝜎(𝑧)(1 − 𝜎(𝑧)). Este detalle indica que tenemos que
usar cálculo para entrenar una red neuronal artificial.

La función sigmoidea transforma los valores introducidos a una escala (0,1), donde
los valores altos tienen de manera asintótica a 1 y los valores muy bajos tienden de
manera asintótica a 0. (Calvo, 2018)

Características de la función sigmoidea:

 Satura y mata el gradiente.

 Lenta convergencia.
 No está centrada en el cero.
 Esta acotada entre 0 y 1.
 Buen rendimiento en la última capa.