Función Softmax

La función softmax, también conocida como softargmax o función exponencial normalizada, convierte un vector de K números reales en una distribución de probabilidad de K resultados posibles. Es una generalización de la función logística a múltiples dimensiones y se utiliza en la regresión logística multinomial. La función softmax se utiliza a menudo como la última función de activación de una red neuronal para normalizar la salida de una red a una distribución de probabilidad sobre las clases de salida previstas.

La función softmax toma como entrada un vector z de K números reales, y lo normaliza en una distribución de probabilidad consistente en K probabilidades proporcionales a los exponenciales de los números de entrada. Es decir, antes de aplicar softmax, algunos componentes vectoriales podrían ser negativos, o superiores a uno; y podría no sumar a 1; pero después de aplicar softmax, cada componente estará en el intervalo ${\displaystyle (0,1)}$, y los componentes añadirán hasta 1, para que puedan ser interpretados como probabilidades. Además, los componentes de entrada más grandes se corresponden con probabilidades más grandes.

Formalmente, la función estándar (unidad) softmax ${\displaystyle \sigma \colon \mathbb {R} ^{K}\to (0,1)^{K}$, donde ${\displaystyle K\geq 1}$, toma un vector ${\displaystyle \mathbf {z} =(z_{1},\dotscz_{K})\in \mathbb {R} ^{K}$ y calcula cada componente del vector ${\displaystyle \sigma (\mathbf {z})\in (0,1)^{K}$ con

$${\displaystyle \sigma (\mathbf {z})_{i}={\frac {\fnMicrosoft} {\fnMicrosoft}} {\fnMicrosoft}} {\fnMicrosoft}} {\fn}}}} {\fn}}} {\fnK}}}}}}} {\fn}}}}}}} {\f}}}}}}}} {\f}}}}}}}}}}}}} {\ ¿Por qué?$$

En palabras, el softmax aplica la función exponencial estándar a cada elemento ${\displaystyle z_{i}$ del vector de entrada ${\displaystyle \mathbf {z}$ (consistiendo en ${\displaystyle K}$ números reales), y normaliza estos valores dividiendo por la suma de todos estos exponenciales. La normalización asegura que la suma de los componentes del vector de salida ${\displaystyle \sigma (\mathbf {z})}$ es 1. El término "softmax" deriva de los efectos amplificadores del exponencial en cualquier máxima en el vector de entrada. Por ejemplo, el softmax estándar de ${\displaystyle (1,2,8)}$ aproximadamente ${\displaystyle (0.001,0.002,0.997)}$, que equivale a asignar casi todo el peso de la unidad total en el resultado a la posición del elemento maximal del vector (de 8).

En general, en lugar de e una base diferente b 0 se puede utilizar. Como antecedente, si b 1 entonces los componentes de entrada más grandes resultarán en mayores probabilidades de salida, y aumentar el valor de b creará distribuciones de probabilidad que estén más concentradas en las posiciones de los mayores valores de entrada. Por el contrario, si 0 entonces los componentes de entrada más pequeños darán lugar a mayores probabilidades de salida, y disminuyendo el valor de b creará distribuciones de probabilidad que estén más concentradas en las posiciones de los valores de entrada más pequeños. Escritura ${\displaystyle b=e^{\beta }$ o ${\displaystyle b=e^{-\beta }$ (de verdad) β) produce las expresiones:

$${\displaystyle \sigma (\mathbf {z})_{i}={\frac {e^{\beta {\fnK} {\fnK}} {\fnK}}} {\fnK}}}} {\be}} {\fn}}}} {\fn}}}}}}} {\fn}}}}}} {\fn}}}}}}} {\be}}}}}}}}}}}} {\be}}}}}}}}}}}}}}}}}}}}}}}} {\be}}}}}}}}}}}}}}}}}}}}}}} {\be}}}}}}}}}}}}}}}}}}}}}}}}}}}}}} {\be}} {\sum ¿Por qué? {\fnMicrosoft Sans Serif} {\fnMicrosoft Sans Serif}} {\fnMicroc {\fnMicroc {\beta} {\fnMicrosoft Sans Serif} {\fnMicrosoft Sans Serif} {\fnMicrosoft Sans Serif} {\fnMicrosoft Sans Serif} {\fnMicrosoft Sans Serif}$$

Un valor proporcional al recíproco β a veces se conoce como temperatura: ${\textstyle \beta =1/kT}$, donde k es típicamente 1 o la constante Boltzmann y T es la temperatura. Una temperatura más alta resulta en una distribución de salida más uniforme (es decir, con mayor entropía; es "más aleatoria"), mientras que una temperatura más baja resulta en una distribución de salida más aguda, con un valor dominante.

En algunos campos, la base es fija, lo que corresponde a una escala fija, mientras que en otros el parámetro β (o T) es variado.

La función Softmax es una aproximación suave a la función arg max: la función cuyo valor es el índice del elemento más grande de un vector. El nombre "softmax" puede ser engañoso. Softmax no es un máximo suave (es decir, una aproximación suave a la función máxima). El término "softmax" también se utiliza para la función LogSumExp, estrechamente relacionada, que es un máximo suave. Por esta razón, algunos prefieren el término más preciso "softargmax", aunque el término "softmax" es convencional en el aprendizaje automático. Esta sección utiliza el término "softargmax" para mayor claridad.

Formalmente, en lugar de considerar el arg max como una función con salida categórica ${\displaystyle 1,\dotsn}$ (correspondiendo al índice), considere la función de arg max con una representación de la salida (asumiendo que hay un árg máximo único): $${\displaystyle \operatorname {arg\,max} (z_{1},\,\dots\,z_{n}=(y_{1},\,\dots\,y_{n})=(0,\,\dots\,0,\,0,\,0,\,0]$$donde se coordina la salida ${\displaystyle Y...$ si ${\displaystyle i}$ es el arg max de ${\displaystyle (z_{1},\dotsz_{n}}$, que significa ${\displaystyle z_{i}$ es el valor máximo único ${\displaystyle (z_{1},\dots\,z_{n}}$. Por ejemplo, en esta codificación ${\displaystyle \operatorname {arg\,max} (1,5,10)=(0,0,1),}$ ya que el tercer argumento es el máximo.

Esto se puede generalizar a múltiples valores de arg max (multiple igual ${\displaystyle z_{i}$ siendo el máximo) dividiendo el 1 entre todos los árgs máximos; formalmente 1/k Donde k es el número de argumentos asumiendo el máximo. Por ejemplo, ${\displaystyle \operatorname {arg\,max} (1,\,5,\,5)=(0,\,1/2,\,1/2),}$ ya que el segundo y tercer argumento son tanto el máximo. En caso de que todos los argumentos sean iguales, esto es simplemente ${\displaystyle \operatorname {arg\,max} (z,\dotsz)=(1/n,\dots1/n). }$ Puntos z con múltiples valores máximos de arg son puntos singulares (o singularidades, y forman el conjunto singular) – estos son los puntos donde arg max es discontinuo (con un salto discontinuidad) – mientras que los puntos con un solo árg max son conocidos como puntos no-singulares o regulares.

Con la última expresión dada en la introducción, softargmax es ahora una aproximación suave de arg max: como ⁠${\displaystyle \beta \to \infty }$⁠, softargmax converge a arg max. Hay varias nociones de convergencia de una función; softargmax converge arg max pointwise, lo que significa para cada entrada fija z como ⁠${\displaystyle \beta \to \infty }$⁠, ${\displaystyle \sigma _{\beta }(\mathbf {z})\to \operatorname {arg\,max} (\mathbf {z}). }$ Sin embargo, softargmax no converge uniformemente arg max, lo que significa intuitivamente que diferentes puntos convergen a diferentes tasas, y puede converger arbitrariamente lentamente. De hecho, softargmax es continuo, pero arg max no es continuo en el conjunto singular donde dos coordenadas son iguales, mientras que el límite uniforme de funciones continuas es continuo. La razón por la que no converge uniformemente es que para entradas donde dos coordenadas son casi iguales (y una es el máximo), el árg max es el índice de uno o el otro, por lo que un pequeño cambio de entrada produce un gran cambio en la salida. Por ejemplo, ${\displaystyle \sigma _{\beta }(1,\,1.0001)\to (0,1),}$ pero ${\displaystyle \sigma _{\beta }(1,\,0.9999)\to (1,\,0),}$ y ${\displaystyle \sigma _{\beta }(1,\,1)=1/2}$ para todas las entradas: cuanto más cerca están los puntos al conjunto singular ${\displaystyle (x,x)}$Cuanto más lento convergen. Sin embargo, softargmax converge compactamente en el conjunto no lineal.

Por el contrario, como ⁠${\displaystyle \beta \to -\infty }$⁠, softargmax converge a arg min de la misma manera, donde aquí el conjunto singular es puntos con dos arg min valores. En el lenguaje del análisis tropical, el softmax es una deformación o "quantización" de arg max y arg min, correspondiente al uso de la semiring de tronco en lugar de la semiring max-plus (respectivamente min-plus semiring), y recuperar el arg max o arg min tomando el límite se llama "tropicalización" o "dequantización".

También es el caso que, para cualquier fijo β, si una entrada ⁠${\displaystyle z_{i}$⁠ es mucho más grande que los otros relativo a la temperatura, ${\displaystyle T=1/\beta }$, la salida es aproximadamente el árg max. Por ejemplo, una diferencia de 10 es grande relativa a una temperatura de 1: $${\displaystyle \sigma (0,\,10):=\sigma _{1}(0,\,10)=\left(1/\left(1+e^{10}\right),\,e^{10}/\left(1+e^{10}\right)\right)\approx (0.00005,\,0.99995)}$$Sin embargo, si la diferencia es pequeña en relación con la temperatura, el valor no está cerca del árg max. Por ejemplo, una diferencia de 10 es pequeña en relación con una temperatura de 100: $${\displaystyle \sigma _{1/100}(0,\,10)=\left(1/\left(1+e^{1/10}\right),\,e^{1/10}/\left(1+e^{1/10}\right)\approx (0.475,\,0.525).}$$As ⁠${\displaystyle \beta \to \infty }$⁠La temperatura va a cero, ${\displaystyle T=1/\beta\to0}$, por lo que eventualmente todas las diferencias se vuelven grandes (en relación con una temperatura de reducción), lo que da otra interpretación para el comportamiento límite.

En teoría de probabilidad, el resultado de la función softargmax se puede utilizar para representar una distribución categórica, es decir, una distribución de probabilidad sobre K resultados posibles diferentes.

En la mecánica estadística, la función softargmax se conoce como la distribución Boltzmann (o la distribución Gibbs): el conjunto índice ${\displaystyle {1,\fnMicrosoft Sans}$ son los microestados del sistema; las entradas ${\displaystyle z_{i}$ son las energías de ese estado; el denominador es conocido como la función de partición, a menudo denotado por Z; y el factor β se llama frialdad (o beta termodinámica, o temperatura inversa).

La función softmax se utiliza en varios métodos de clasificación multiclase, como la regresión logística multinomial (también conocida como regresión softmax), el análisis discriminante lineal multiclase, los clasificadores bayesianos ingenuos y las redes neuronales artificiales. Específicamente, en la regresión logística multinomial y el análisis discriminante lineal, la entrada a la función es el resultado de K funciones lineales distintas, y la probabilidad predicha para la jésima clase dado un vector de muestra x y un vector de ponderación w es:

$${\displaystyle P(y=j\mid \mathbf {x}={\frac {\e^{\mathbf {x} } {\Mathbf {}}\Mathbf {w} {\fnMicrosoft Sans Serif} {\fnMicrosoft Sans Serif} {\fnMicrosoft Sans Serif}} {\fnMicrosoft}}} {\fnMicrosoft Sans Serif} {\fnMicrosoft}}} {\f}}}}} {\f}} {\fnMicrosoft}}}}}} {\f}}}} {\f}}}}}}}}}} {\f}}}}}}} {\f}}}}}}}}}}}}}}} {\f}}} {\f}}}}} {\f}}}}}} {\f}}}}}}}} {\f}} {\f}}}}}}}}}}}}}}}}} {\f}}}}}}}}}}} {\f}}}} {\f}}}}}}}} {\f}}}}}}}}}}}}}}}}}}} ¿Por qué? ♪♪$$

Esto se puede ver como la composición K funciones lineales ${\displaystyle \mathbf {x} \mapsto \mathbf {x} ^{\mathsf {T}\mathbf {w} _{1},\ldots\mathbf {x} \mapsto \mathbf {x} Mathbf ¿Qué?$ y la función softmax (donde ${\displaystyle \mathbf {x} {\fnMithsf {}\f}$ denota el producto interior ${\displaystyle \mathbf {x}$ y ${\displaystyle \mathbf}$). La operación equivale a aplicar un operador lineal definido por ${\displaystyle \mathbf}$ vectores ${\displaystyle \mathbf {x}$, transformando así el original, probablemente altamente-dimensional, entrada a vectores en un K- espacio dimensional ${\displaystyle \mathbb {R} {K}}$.

La función softmax estándar se utiliza a menudo en la capa final de un clasificador basado en redes neuronales. Estas redes suelen entrenarse en un régimen de pérdida logarítmica (o de entropía cruzada), lo que da lugar a una variante no lineal de la regresión logística multinomial.

Desde la función mapea un vector y un índice específico ${\displaystyle i}$ a un valor real, el derivado necesita tener en cuenta el índice:

$${\displaystyle {\frac {\partial }{\partial q_{k}}\sigma ({\textbf {q},i)=\sigma ({\textbf {q}},i)(\delta _{ik}-\sigma ({\textbf {q},k)). }$$

Esta expresión es simétrica en los índices ${\displaystyle i,k}$ y, por lo tanto, también puede expresarse

$${\displaystyle {\frac {\partial }{\partial q_{k}}\sigma ({\textbf {q},i)=\sigma ({\textbf {q},k)(\delta _{ik}-\sigma ({\textbf {q}},i)). }$$

Aquí se utiliza el delta de Kronecker para simplificar (cf. la derivada de una función sigmoidea, que se expresa a través de la función misma).

Para garantizar cálculos numéricos estables, es habitual restar el valor máximo del vector de entrada. Este enfoque, si bien no altera teóricamente la salida ni la derivada, mejora la estabilidad al controlar directamente el valor del exponente máximo calculado.

Si la función es escalada con el parámetro ${\displaystyle \beta }$, entonces estas expresiones deben ser multiplicadas por ${\displaystyle \beta }$.

Consulte el logit multinomial para obtener un modelo de probabilidad que utiliza la función de activación softmax.

En el campo del aprendizaje de refuerzo, una función softmax se puede utilizar para convertir los valores en probabilidades de acción. La función comúnmente utilizada es: $${\displaystyle P_{t}(a)={\frac {\exp(q_{t}(a)/\tau)}{\sum {\fnMicrosoft Sans Serif}}$$

donde el valor de acción ${\displaystyle q_{t}(a)}$ corresponde a la recompensa esperada de la siguiente acción a y ${\displaystyle \tau }$ se llama parámetro de temperatura (en alusión a la mecánica estadística). Para altas temperaturas (${\displaystyle \tau \to \infty }$), todas las acciones tienen casi la misma probabilidad y cuanto menor sea la temperatura, las recompensas más esperadas afectan la probabilidad. Para una temperatura baja (${\displaystyle \tau \to ¡Oh!$), la probabilidad de la acción con la recompensa esperada más alta tiende a 1.

En aplicaciones de red neuronales, el número K de posibles resultados es a menudo grande, por ejemplo, en caso de modelos de lenguaje neural que predicen el resultado más probable de un vocabulario que podría contener millones de palabras posibles. Esto puede hacer los cálculos para la capa softmax (es decir, las multiplicaciones de la matriz para determinar la ${\displaystyle z_{i}$, seguido por la aplicación de la función softmax en sí mismo) computacionalmente caro. Además, el método de retropropagación de descenso gradiente para la formación de una red neuronal implica calcular el softmax para cada ejemplo de entrenamiento, y el número de ejemplos de entrenamiento también puede ser grande. El esfuerzo computacional para el softmax se convirtió en un importante factor limitante en el desarrollo de modelos de lenguaje neuronal más grandes, motivando varios remedios para reducir los tiempos de entrenamiento.

Los enfoques que reorganizan la capa softmax para un cálculo más eficiente incluyen el jerárquica suavemax y el softmax diferenciado. El softmax jerárquico (introducido por Morin y Bengio en 2005) utiliza una estructura de árboles binarios donde los resultados (palabras vocabulario) son las hojas y los ganglios intermedios son seleccionados adecuadamente "clases" de los resultados, formando variables latentes. La probabilidad deseada (valor blando máximo) de una hoja (resultados) se puede calcular como el producto de las probabilidades de todos los nodos en el camino desde la raíz a esa hoja. Idealmente, cuando el árbol está equilibrado, esto reduciría la complejidad computacional de ${\displaystyle O(K)}$ a ${\displaystyle O(\log _{2}K)}$. En la práctica, los resultados dependen de elegir una buena estrategia para agrupar los resultados en las clases. Un árbol Huffman se utilizó para esto en los modelos word2vec de Google (introducidos en 2013) para lograr escalabilidad.

Un segundo tipo de solución se basa en la aproximación del softmax (durante el entrenamiento) con funciones de pérdida modificadas que evitan el cálculo del factor de normalización completo. Estas incluyen métodos que restringen la suma de normalización a una muestra de resultados (por ejemplo, muestreo de importancia, muestreo de destino).

Geométricamente la función softmax mapas el espacio vectorial ${\displaystyle \mathbb {R} {K}}$ al límite del estándar ${\displaystyle (K-1)}$-simplex, cortando la dimensión por uno (el rango es un ${\displaystyle (K-1)}$-dimensional simplex en ${\displaystyle K}$-espacio dimensional), debido a la limitación lineal que toda la suma de salida a 1 que significa que se encuentra en un hiperplano.

Junto a la diagonal principal ${\displaystyle (x,\,x,\,\dots\,x),}$ softmax es sólo la distribución uniforme en salidas, ${\displaystyle (1/n,\dots1/n)}$: las puntuaciones iguales rinden probabilidades iguales.

Más generalmente, softmax es invariante bajo traducción por el mismo valor en cada coordenadas: añadir ${\displaystyle \mathbf {c} =(c,\,\dots\,c)}$ a las entradas ${\displaystyle \mathbf {z}$ rendimientos ${\displaystyle \sigma (\mathbf {z} +\mathbf {c}=\sigma (\mathbf {z})}$, porque multiplica cada exponente por el mismo factor, ${\displaystyle e^{c}$ (porque ${\displaystyle e^{z_{i}+c}=e^{z_{i}\cdot E^{c}$), por lo que las ratios no cambian: $${\displaystyle \sigma (\mathbf {z} +\mathbf {c}_{j}={\frac} {\fnMicrosoft Sans Serif} {\fnMicrosoft Sans Serif} {\fnMicrosoft}} {\fn}} {\fnMicrosoft}}} {\fnMicrosoft}}}} {\fnK}}}} {\f}}} {\f}}}}}}} {\f}}}}}}}}} {\f}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}} {\s}}}}} {\s}}}}}}}}}}}}} {\s}}}}}}}}} {\f}}}}}}}}}}} {\s}}}}}}}} {\s}}}}}}}}}}}}}} {\s}}}}}}}}}}}}}}}} {\s}}}}}}}}}}}}}}}}}}}}} {\ {\fnK} {\fnMicroc}}= {\fnMicroc} {\fnK}\cdot E^{c}{\sum ¿Qué? e^{c}=\sigma (\mathbf {z})_{j}$$

Geométricamente, softmax es constante a lo largo de las diagonales: esta es la dimensión que se elimina, y corresponde a la salida softmax siendo independiente de una traducción en los puntajes de entrada (una selección de 0 puntuación). Se puede normalizar las puntuaciones de entrada asumiendo que la suma es cero (subir el promedio: ${\displaystyle \mathbf {c}$ Donde ${\textstyle c={\frac {1}{n}\sum} z_{i}$), y luego el softmax toma el hiperplano de puntos que suma a cero, ${\textstyle \sum z_{i}=0}$, al simplex abierto de valores positivos que suma a 1${\textstyle \sum \sigma (\mathbf {z}_{i}=1}$, analógicamente a cómo el exponente lleva 0 a 1, ${\displaystyle E^{0}=1}$ y es positivo.

Por el contrario, softmax no es invariante bajo escalado. Por ejemplo, ${\displaystyle \sigma {\bigl (}(0,\,1){\bigr)}={\bigl (}1/(1+e),\,e/(1+e){\bigr)}}$ pero ${\displaystyle \sigma {\bigl (}(0,2){\bigr)}={\bigl (}1/\left(1+e^{2}\right),\,e^{2}/\left(1+e^{2}\right){\bigr)}}$

La función logística estándar es el caso especial para un eje 1-dimensional en el espacio 2-dimensional, dicen el x-eje en el (x, y) avión. Una variable se fija en 0 (sayo ${\displaystyle #$), así que ${\displaystyle E^{0}=1}$, y la otra variable puede variar, denotarlo ${\displaystyle z_{1}=x}$, entonces ${\textstyle e^{z_{1}/\sum ¿Por qué?$ la función logística estándar, y ${\textstyle e^{z_{2}/\sum ### {k=1} {2}e^{z_{k}=1/\left(e^{x}+1\right),}$ su complemento (que significa que suman hasta 1). El aporte 1-dimensional podría ser expresado alternativamente como línea ${\displaystyle (x/2,\,-x/2)}$, con salidas ${\displaystyle e^{x/2}/\left(e^{x/2}+e^{-x/2}\right)=e^{x}/\left(e^{x}+1\right)}$ y ${\displaystyle e^{-x/2}/\left(e^{x/2}+e^{-x/2}\right)=1/\left(e^{x}+1\right). }$

La función softmax es también el gradiente de la función LogSumExp, un máximo suave:

$${\fnMicrosoft {\fnMicrosoft {\fnMicrosoft {\fnMicrosoft {\fnMicrosoft {\\fnMicrosoft} }{\partial ¿Qué? z_{i}{\sum ¿Por qué? {\fnMicrosoft Sans, {\fnMicrosoft Sans Serif} =(z_{1},\dotscK,\quad \mathbf {z} =(z_{1},\,\dotsc\,z_{K})\in \mathbb {R}$$

donde la función LogSumExp se define como ${\displaystyle \operatorname {LSE} (z_{1},\dots\,z_{n})=\log \left(\exp(z_{1})+\cdots +\exp(z_{n})\right)}$.

La función softmax se utilizó en mecánica estadística como distribución de Boltzmann en el artículo fundacional Boltzmann (1868), formalizado y popularizado en el influyente libro de texto Gibbs (1902).

El uso del softmax en la teoría de la decisión se le atribuye a R. Duncan Luce, quien utilizó el axioma de independencia de alternativas irrelevantes en la teoría de la elección racional para deducir el softmax en el axioma de elección de Luce para las preferencias relativas.

En el aprendizaje automático, el término "softmax" se atribuye a John S. Bridle en dos artículos de conferencias de 1989, Bridle (1990a): y Bridle (1990b):

Nos preocupan las redes no lineales de alimentación (perceptros multicapa o MLP) con múltiples productos. Deseamos tratar los productos de la red como probabilidades de alternativas (Por ejemplo. clases de patrón), condicionadas a las entradas. Buscamos no linealidades de salida adecuadas y criterios apropiados para la adaptación de los parámetros de la red (Por ejemplo. pesos). Explicamos dos modificaciones: puntuación de probabilidad, que es una alternativa a la minimización de errores cuadrados, y un exponencial normalizado (softmax) la generalización multi-input de la no-linearidad logística.

Para cualquier entrada, los resultados deben ser positivos y deben resumir la unidad....

Teniendo en cuenta un conjunto de valores incontrolados, ⁠${\displaystyle V_{j}(x)}$⁠, podemos asegurar ambas condiciones utilizando una transformación Exponencial Normalizada: $${\displaystyle Q_{j}(x)=\left.e^{V_{j}(x)}\right/\sum _{k}e^{V_{k}(x)}$$Esta transformación se puede considerar una generalización multi-input de la logística, operando en toda la capa de salida. Conserva el orden de rango de sus valores de entrada, y es una generalización diferenciable de la operación 'ganner-take-all' de elegir el valor máximo. Por esta razón nos gusta referirnos a ella como softmax.

Con una entrada de (1, 2, 3, 4, 1, 2, 3), el softmax es aproximadamente (0,024, 0,064, 0,175, 0,475, 0,024, 0,064, 0,175). La salida tiene la mayor parte de su peso donde estaba el "4" en la entrada original. Esto es para lo que normalmente se utiliza la función: para resaltar los valores más grandes y suprimir los valores que están significativamente por debajo del valor máximo. Pero tenga en cuenta: un cambio de temperatura cambia la salida. Cuando la temperatura se multiplica por 10, las entradas son efectivamente (0,1; 0,2; 0,3; 0,4; 0,1; 0,2; 0,3) y el softmax es aproximadamente (0,125; 0,138; 0,153; 0,169; 0,125; 0,138; 0,153). Esto demuestra que las altas temperaturas restan importancia al valor máximo.

Cálculo de este ejemplo mediante código Python:

, titulado importación numposo como np, titulado z = np.array([2]1.0, 2.0, 3.0, 4.0, 1.0, 2.0, 3.0]), titulado beta = 1.0, titulado np.exp()beta * z) / np.suma()np.exp()beta * z) array([0.02364054, 0.06426166, 0.1746813, 0.474833, 0.02364054, 0,06426166, 0,1746813])

La función softmax genera predicciones de probabilidad distribuidas densamente sobre su soporte. Se pueden utilizar otras funciones como sparsemax o α-entmax cuando se desean predicciones de probabilidad dispersas. También se puede utilizar el truco de reparametrización Gumbel-softmax cuando se necesita imitar el muestreo de una distribución discreta-discreta de una manera diferenciable.

• Softplus
• regresión logística multinomial
• Distribución de dirichlet – una forma alternativa de muestrear distribuciones categóricas
• Función de partición
• Alimentación exponencial – una generalización de distribuciones de Softmax a mayor probabilidad general