Función de activación

La función de activación de un nodo en una red neuronal artificial calcula la salida del nodo a partir de sus entradas individuales y sus pesos. Los problemas no triviales pueden resolverse utilizando solo unos pocos nodos si la función de activación es no lineal.Las funciones de activación modernas incluyen la función logística (sigmoidea) utilizada en el modelo de reconocimiento de voz de 2012 desarrollado por Hinton et al.; la ReLU utilizada en el modelo de visión artificial AlexNet de 2012 y en el modelo ResNet de 2015; y la versión suavizada de la ReLU, la GELU, utilizada en el modelo BERT de 2018.Además de su rendimiento empírico, las funciones de activación también tienen diferentes propiedades matemáticas:

No linear

Cuando la función de activación es no lineal, se puede probar que una red neuronal de dos capas es un aproximador de función universal. Esto se conoce como el Teorema de Aproximación Universal. La función de activación de identidad no satisface esta propiedad. Cuando múltiples capas utilizan la función de activación de identidad, toda la red es equivalente a un modelo de una sola capa.

Rango

Cuando el rango de la función de activación es finito, los métodos de entrenamiento basados en gradientes tienden a ser más estables, porque las presentaciones del patrón afectan significativamente sólo pesos limitados. Cuando el rango es infinito, el entrenamiento es generalmente más eficiente porque las presentaciones del patrón afectan significativamente la mayoría de los pesos. En este último caso, las tasas de aprendizaje más pequeñas son típicamente necesarias.

Contínuamente diferente

Esta propiedad es deseable (ReLU no es continuamente diferenciable y tiene algunos problemas con la optimización basada en el gradiente, pero todavía es posible) para permitir métodos de optimización basados en el gradiente. La función de activación de paso binario no es diferente a 0, y diferencia a 0 para todos los otros valores, por lo que los métodos basados en gradientes no pueden progresar con ella.

Estas propiedades no influyen decisivamente en el rendimiento, ni son las únicas propiedades matemáticas que podrían ser útiles. Por ejemplo, el rango estrictamente positivo del softplus lo hace adecuado para predecir varianzas en autocodificadores variacionales.Las funciones de activación más comunes se pueden dividir en tres categorías: funciones de cresta, funciones radiales y funciones de pliegue.

Una función de activación ${\displaystyle f}$ es saturación si ${\displaystyle \lim _{ enseñanzas de la vida\to\infty }$. Es no saturación si es ${\displaystyle \lim _{Sobrevivir a \infty } arrest\nabla f(v) habit\neq 0}$. Las funciones de activación no saturar, como ReLU, pueden ser mejores que saturar las funciones de activación, porque son menos propensos a sufrir del problema de gradiente desaparecido.

Las funciones de cresta son funciones multivariables que actúan sobre una combinación lineal de las variables de entrada. Algunos ejemplos frecuentes son:

• Activación lineal: ${\displaystyle \phi (\mathbf {v})=a+\mathbf {v} 'Mathbf {b}$,
• Activación de la ReLU: ${\displaystyle \phi (\mathbf {v})=\max(0,a+\mathbf {v} 'Mathbf {b}}$,
• Activación Heaviside: ${\displaystyle \phi (\mathbf {v})=1_{a+\mathbf {v} '\mathbf {b}$,
• Activación logística: ${\displaystyle \phi (\mathbf {v})=(1+\exp(-a-\mathbf {v} '\mathbf {b})}$.

En las redes neuronales de inspiración biológica, la función de activación suele ser una abstracción que representa la tasa de activación del potencial de acción en la célula. En su forma más simple, esta función es binaria; es decir, la neurona se activa o no. Las neuronas tampoco pueden activarse a una velocidad superior a cierta tasa, lo que motiva funciones de activación sigmoideas cuyo rango es finito.

La función parece ${\displaystyle \phi (\mathbf {v})=U(a+\mathbf {v} '\mathbf {b})}$, donde ${\displaystyle U}$ es la función paso Heaviside.

Si una línea tiene una pendiente positiva, por otro lado, puede reflejar el aumento de la tasa de disparos que ocurre a medida que aumenta la corriente de entrada. Tal función sería de la forma ${\displaystyle \phi (\mathbf {v})=a+\mathbf {v} 'Mathbf {b}$.

En las redes RBF se utiliza una clase especial de funciones de activación, conocidas como funciones de base radial (RBF). Estas funciones de activación pueden adoptar diversas formas, pero generalmente se encuentran como una de las siguientes:

• Gaussian: ${\displaystyle \,\phi (\mathbf {v})=\exp \left(-{\frac {\fnMitbf {v} - Mathbf {c} {2}} {2\sigma }\derecha)}$
• Multiquadratics: ${\displaystyle \,\phi (\mathbf {v})={\sqrt {\fnMitbf {v} - Mathbf {c} {2}}$
• Multiquadratics inverso: ${\displaystyle \,\phi (\mathbf {v})=\left(\fnMitbf {v} - Mathbf {c} {\fnMicrosoft Sans Serif} {1}{2}}}}$
• Líneas poliharmónicas

Donde ${\displaystyle \mathbf {c}$ es el vector que representa la función centro y ${\displaystyle a}$ y ${\displaystyle \sigma }$ son parámetros que afectan la difusión del radio.

Las funciones periódicas pueden servir como funciones de activación. Generalmente se utiliza la senoide, ya que cualquier función periódica se descompone en senos mediante la transformada de Fourier.

Mapas de activación cuadrática ${\displaystyle x\mapsto x^{2}$.

Las funciones de activación por plegamiento se utilizan ampliamente en las capas de agrupación de redes neuronales convolucionales y en las capas de salida de redes de clasificación multiclase. Estas activaciones realizan agregación sobre las entradas, como la toma de la media, el mínimo o el máximo. En la clasificación multiclase, se utiliza con frecuencia la activación softmax.La siguiente tabla compara las propiedades de varias funciones de activación que son funciones de un pliegue x de la capa o capas anteriores:

Nombre	Parcela	Función, ${\displaystyle g(x)}$	Derivativo de ${\displaystyle g}$, ${\displaystyle g'(x)}$	Rango	Orden de continuidad
Identidad		${\displaystyle x}$	${\displaystyle 1}$	${\displaystyle (-\infty\infty)}$	${\displaystyle C^{\infty}$
Paso binario		${\displaystyle {\begin{cases}0 {\text{if} }x 0\1\1\text{if}x\geq 0\end{cases}$	${\displaystyle 0}$	${\displaystyle \{0,1\}}$	${\displaystyle C^{-1}$
Logística, sigmoide o suave paso		${\displaystyle \sigma (x)\doteq {\frac {1}{1+e^{-x}}$	${\displaystyle g(x)(1-g(x)}$	${\displaystyle (0,1)}$	${\displaystyle C^{\infty}$
Tangente hiperbólico (tanh)		${\displaystyle \tanh(x)\doteq {\frac {\fnK}} {\fnK}} {\fnK}}}}} {\fn}}}}}}}}} {\fn}}}}}} {\fn}}}}}}}}} {\fn\f}}}}}}}}$	${\displaystyle 1-g(x)^{2}$	${\displaystyle (-1,1)}$	${\displaystyle C^{\infty}$
Soboleva modificado hiperbólico tangente (smht)		${\displaystyle \operatorname {smht} (x)\doteq {\frac {\e^{ax}-e^{-bx}}{e^{cx}+e^{-dx}}}}} {\f}}} {\f}}}} {\f}}}}}}} {\f}}$		${\displaystyle (-1,1)}$	${\displaystyle C^{\infty}$
Softsign		${\fnMicroc} {x}{1+$	${\displaystyle {\frac {1}{}}}}$	${\displaystyle (-\infty+\infty)}$	${\displaystyle C^{1}$
Unidad lineal rectificada (ReLU)		${\displaystyle {\begin{aligned}(x)^{+}\doteq {} {\begin{cases}0 {\text{if} }x\leq 0\x }x=x{cases}\={}\={}\max(0,x)=x{\textbf {1}_{x Conf0}\end{aligned}}$	${\displaystyle {\begin{cases}0 {\text{if} }x hicieron0\1⁄4 {\text {if}x {cases}}$	${\displaystyle [0,\infty]$	${\displaystyle C^{0}$
Unidad lineal de error gaussiano (GELU)		${\displaystyle {\begin{aligned} {1}{2}}x\left(1+{\text{erf}\left({\frac {x}{\sqrt {2}}}\right)\{}={} {} {} {} {\f}\fnuncio {\f}}}}}}}}}}}}}\justo)\{}={}={}{}{}{} {}}}}}}}}}{}{}}{}}}}}}}}}}{}}}}}}{}}}}} {\m}}}} {\m}}}}}}}\m}}}}}}}}}}}}}}}}}}}}}}}}}}}}\m}}}}}}\m}}}}}}}}}}\m}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}$ Donde ${\displaystyle \mathrm {erf}$ es la función de error gaussiano.	${\displaystyle \Phi (x)+{2}x\phi (x)}$ Donde ${\displaystyle \phi (x)={\frac {1}{\sqrt {2}x} {2}}}$ es la función de densidad de probabilidad de la distribución gaussiana estándar.	${\displaystyle (-0.17\ldots\infty)}$	${\displaystyle C^{\infty}$
Softplus		${\displaystyle \ln \left(1+e^{x}\right)}$	${\displaystyle {\frac}{1+e^{-x}}$	${\displaystyle (0,\infty)}$	${\displaystyle C^{\infty}$
Unidad lineal exponencial (ELU)		${\displaystyle {\begin{cases}\alpha \left(e^{x}-1\right) limitada{\text{if }x\leq 0\x }x título0\end{cases}}$ con parámetro ${\displaystyle \alpha }$	${\displaystyle {\begin{cases}\alpha e^{x} {\text{if} }x hicieron0\1⁄4 {\text {if}x {cases}}$	${\displaystyle (-\alpha\infty)}$	${\displaystyle {\begin{cases}C^{1} }\alpha {\fnMicrosoft Sans Serif}$
Unidad lineal exponencial escalada (SELU)		${\displaystyle \lambda {\begin{cases}\alpha (e^{x}-1) diez {\text{if }xse hizo0\\x limitada{if }x\geq 0\end{cases}}$ con parámetros ${\displaystyle \lambda =1.0507}$ y ${\displaystyle \alpha = 1,67326}$	${\displaystyle \lambda {\begin{cases}\alpha e^{x} {\text{if} }x 0\1\1\text{if}x\geq 0\end{cases}$	${\displaystyle (-\lambda \alpha\infty)}$	${\displaystyle C^{0}$
Unidad lineal rectificada (Leaky ReLU)		${\displaystyle {\begin{cases}0.01x limitada{if} }x\leq 0\x }x título0\end{cases}}$	${\displaystyle {\begin{cases}0.01 ventaja{\text{if }x hicieron0\1⁄4 {\text {if}x {cases}}$	${\displaystyle (-\infty\infty)}$	${\displaystyle C^{0}$
Unidad lineal rectificada paramétrica (PReLU)		${\displaystyle {\begin{cases}\alpha xiéndose{\text{if }x 0\x\x {\text{if}x\geq 0\end{cases}$ con parámetro ${\displaystyle \alpha }$	${\displaystyle {\begin{cases}\alpha >{if} }x 0\1\1\text{if}x\geq 0\end{cases}$	${\displaystyle (-\infty\infty)}$	${\displaystyle C^{0}$
Unidades Sigmoide Paramétricas Rectificadas (flexibles, 5 parámetros)		${\displaystyle \alpha (2x{1}_{\x\geqslant \lambda ##}-g_{\lambda\sigma\mu\beta }(x))+(1-\alpha)g_{\lambda\sigma\mu\beta }(x)}$ Donde ${\displaystyle g_{\lambda\sigma\mu\beta }(x)={\frac {(x-\lambda){1}_{\{x\geqslant \lambda {}}{1+e^{-\operatorname {sgn}(x-\mu)\left({\frac {\vert x-\mu \vert }{\sigma }}\right)^{\beta }$	${\displaystyle -}$	${\displaystyle (-\infty+\infty)}$	${\displaystyle C^{0}$
Unidad lineal sigmoide (SiLU, encogimiento sigmoide, SiL, o Swish- 1)		${\displaystyle {\frac {x}{1+e^{-x}}}$	${\displaystyle {\frac {1+e^{-x}+xe^{-x}{\left(1+e^{-x}\right)}}}}$	${\displaystyle [-0.278\ldots\infty)}$	${\displaystyle C^{\infty}$
Exponential Linear Sigmoid SquasHing (ELiSH)		${\displaystyle {\begin{cases}{\frac {\fnMicroc}{-x}} {\f}x}x} {\fnMicroc {x}{1+e^{-x}} {\f} {\f}} {\f}} {\f}} {\fn\f}} {\f} {\f}\f}\f}\fn\f} }x\geq 0\end{cases}}$	${\displaystyle {\begin{cases}{\frac {2e^{2x}+e^{3x}-e^{x}{e^{2x}+2e^{x}+1}}} }xted0\\\\{x}+e^{2x}+e^{x}{x}{e^{2x}+2e^{x}+1}} {\if} {\f} }x\geq 0\end{cases}}$	${\displaystyle [-0.881\ldots\infty)}$	${\displaystyle C^{1}$
Gaudí		${\displaystyle E^{-x^{2}}$	${\displaystyle -2xe^{-x^{2}}$	${\displaystyle (0,1]}$	${\displaystyle C^{\infty}$
Sinusoid		${\displaystyle \sin x}$	${\displaystyle \cos x}$	${\displaystyle [-1,1]}$	${\displaystyle C^{\infty}$

La siguiente tabla enumera las funciones de activación que no son funciones de un único pliegue x de la capa o capas anteriores:

Nombre	Ecuación, ${\displaystyle g_{i}\left({\vec {x}\right)}$	Derivativos, ${\displaystyle {\frac {\partial g_{i}\left({\vec {x}\right)}{\partial #$	Rango	Orden de continuidad
Softmax	${\fnMicroc {\fnK} {\fnK}} {\fnMicroc {\fnK}} {\fn}} {\fnK}}} {\fnK}}} {\fnMicrosoft}}}}} {\f}}} {\f}}}}}}} {\fnK\f}}}}}}}} {\f}}}}}}}}}}}}}} {\f}}}}}}}} {\f}}}}}}}}}}}}}}}}}}}}}}}}}}} {\b}}}}}}}}}} {\f}}}} {\f}}}}}}}} {\b}}}}}}}}}}} {\b}}}}}}}}}}}}}}}}} {\b}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}} ¿Qué?$ para i = 1, ... J	${\displaystyle g_{i}\left({\vec {x}\right)\left(\delta) ¿Por qué?$[1][2]	${\displaystyle (0,1)}$	${\displaystyle C^{\infty}$
Maxout	${\displaystyle \max _{i}x_{i}}$	${\displaystyle {\begin{cases}1 golpe{\text{if }j={\underset {\fnK} {\fnMicrosoft Sans Serif} }\,x_{i}\0 }j\neq {\underset {\fnK} {\fnMicrosoft Sans Serif} }\,x_{i}\end{cases}}$	${\displaystyle (-\infty\infty)}$	${\displaystyle C^{0}$

^ Aquí, ${\displaystyle \delta _{ij}$ es el Kronecker delta.

^ Por ejemplo, ${\displaystyle j}$ podría estar iterando a través del número de núcleos de la anterior capa de red neuronal mientras ${\displaystyle i}$ itera a través del número de núcleos de la capa actual.

En redes neuronales cuánticas programadas en computadoras cuánticas con modelo de puerta, basadas en perceptrones cuánticos en lugar de circuitos cuánticos variacionales, la no linealidad de la función de activación puede implementarse sin necesidad de medir la salida de cada perceptrón en cada capa. Las propiedades cuánticas cargadas en el circuito, como la superposición, pueden preservarse creando la serie de Taylor del argumento calculado por el propio perceptrón, con circuitos cuánticos adecuados que calculan las potencias hasta un grado de aproximación deseado. Gracias a la flexibilidad de estos circuitos cuánticos, pueden diseñarse para aproximarse a cualquier función de activación clásica arbitraria.

• Función logística
• Rectificador (redes neuronales)
• Estabilidad (teoría de aprendizaje)
• Función Softmax

• Kunc, Vladimír; Kléma, Jiří (2024-02-14), Tres décadas de activación: un estudio completo de 400 funciones de activación para redes neuronales, arXiv:2402.09092
• Nwankpa, Chigozie; Ijomah, Winifred; Gachagan, Anthony; Marshall, Stephen (2018-11-08). "Activación Funciones: Comparación de las tendencias en práctica e investigación para el aprendizaje profundo". arXiv:1811.03378 [cs.LG].
• Dubey, Shiv Ram; Singh, Satish Kumar; Chaudhuri, Bidyut Baran (2022). "Activación funciona en el aprendizaje profundo: Una encuesta integral y un punto de referencia". Neurocomputación. 503. Elsevier BV: 92 –108. arXiv:2109.14545. doi:10.1016/j.neucom.2022.06.111. ISSN 0925-2312.