Memoria a corto plazo y larga duración

La memoria a corto plazo larga (LSTM) es un tipo de red neuronal recurrente (RNN) que tiene como objetivo mitigar el problema del gradiente de desaparición que suelen encontrar las RNN tradicionales. Su relativa insensibilidad a la longitud de los espacios es su ventaja sobre otras RNN, modelos ocultos de Markov y otros métodos de aprendizaje de secuencias. Su objetivo es proporcionar una memoria a corto plazo para las RNN que pueda durar miles de pasos de tiempo (de ahí el nombre de "memoria a corto plazo larga"). El nombre se hace en analogía con la memoria a corto plazo y la memoria a largo plazo y su relación, estudiada por psicólogos cognitivos desde principios del siglo XX.

Una unidad LSTM se compone típicamente de una celda y tres puertas: una puerta de entrada, una puerta de salida y una puerta de olvido. La celda recuerda valores en intervalos de tiempo arbitrarios y las puertas regulan el flujo de información que entra y sale de la celda. Las puertas de olvido deciden qué información descartar del estado anterior, asignando el estado anterior y la entrada actual a un valor entre 0 y 1. Un valor (redondeado) de 1 significa retención de la información y un valor de 0 representa descarte. Las puertas de entrada deciden qué fragmentos de información nueva almacenar en el estado actual de la celda, utilizando el mismo sistema que las puertas de olvido. Las puertas de salida controlan qué fragmentos de información en el estado actual de la celda se deben emitir, asignando un valor de 0 a 1 a la información, considerando los estados anterior y actual. La generación selectiva de información relevante del estado actual permite que la red LSTM mantenga dependencias útiles a largo plazo para realizar predicciones, tanto en intervalos de tiempo actuales como futuros.

LSTM tiene amplias aplicaciones en clasificación, procesamiento de datos, tareas de análisis de series temporales, reconocimiento de voz, traducción automática, detección de actividad del habla, control de robots, videojuegos y atención médica.

En teoría, las RNN clásicas pueden realizar un seguimiento de dependencias arbitrarias a largo plazo en las secuencias de entrada. El problema con las RNN clásicas es de naturaleza computacional (o práctica): cuando se entrena una RNN clásica mediante retropropagación, los gradientes a largo plazo que se retropropagan pueden "desaparecer", lo que significa que pueden tender a cero debido a que se introducen números muy pequeños en los cálculos, lo que hace que el modelo deje de aprender. Las RNN que utilizan unidades LSTM resuelven parcialmente el problema del gradiente evanescente, porque las unidades LSTM permiten que los gradientes también fluyan con poca o ninguna atenuación. Sin embargo, las redes LSTM aún pueden sufrir el problema del gradiente explosivo.

La intuición detrás de la arquitectura LSTM es crear un módulo adicional en una red neuronal que aprende cuándo recordar y cuándo olvidar información pertinente. En otras palabras, la red aprende efectivamente qué información podría ser necesaria más adelante en una secuencia y cuándo esa información ya no es necesaria. Por ejemplo, en el contexto del procesamiento del lenguaje natural, la red puede aprender dependencias gramaticales. Una LSTM podría procesar la oración "Dave, como resultado de sus afirmaciones controvertidas, es ahora un paria" recordando el género y número gramaticales (estadísticamente probables) del sujeto Dave, note que esta información es pertinente para el pronombre his y note que esta información ya no es importante después del verbo is.

En las ecuaciones siguientes, las variables de la minúscula representan vectores. Matrices ${\displaystyle ¿Qué?$ y ${\displaystyle U_{q}$ contienen, respectivamente, los pesos de la entrada y las conexiones recurrentes, donde el subscript ${\displaystyle _{q}$ puede ser la puerta de entrada ${\displaystyle i}$, puerta de salida ${\displaystyle o}$, la puerta del olvido ${\displaystyle f}$ o la célula de memoria ${\displaystyle c}$, dependiendo de la activación que se calcula. En esta sección, estamos utilizando una "notación de actor". Así que, por ejemplo, ${\displaystyle c_{t}\in \mathbb {R} {h}$ no es sólo una unidad de una célula LSTM, pero contiene ${\displaystyle h}$ Unidades de la célula LSTM.

Consulte un estudio empírico de ocho variantes arquitectónicas de LSTM.

Las formas compactas de las ecuaciones para el paso hacia adelante de una celda LSTM con una puerta de olvido son:

${\displaystyle {\begin{aligned}f_{t} ################################################################################################################################################################################################################################################################ {C}_{t} ¿Por qué? C_{t-1}+i_{t}\odot {\fnh}\fnh} {\fnh} {\fnh} {\fnh} {\fnh} {\fn} {\fnh}} {\fn}\fnh}} {\fnh} {\fn}}\f}\fnh} {\f}}}\h}\h} {\fn}}}}}}} {\f}}}}}}}}}}}}} {\f}}\h}}}}}} {\f}}} {\f}}}}}}\f} {\f}}}}}}}}\f}}}}}}}}}}}}}}}\\\\\\\\h} {\f} {\f}}}}}}}}}}}}}}}\\\f} {\f}\f}}\f}}}\f}}\f}}}}\f}\f}}\f}\f}}}}\f}} {}}$

donde los valores iniciales son ${\displaystyle ¿Qué?$ y ${\displaystyle H_{0}=0}$ y el operador ${\displaystyle \odot }$ denota el producto Hadamard (producto del elemento). El subscript ${\displaystyle t}$ indexa el paso del tiempo.

Dejando los superscriptos ${\displaystyle d}$ y ${\displaystyle h}$ referencia al número de características de entrada y número de unidades ocultas, respectivamente:

• ${\displaystyle x_{t}\in \mathbb {R} {d}$: vector de entrada a la unidad LSTM
• ${\displaystyle f_{t}in {0,1)} {h}$: olvidar el vector de activación de la puerta
• ${\displaystyle i_{t}in {0,1)} {h}$: vector de activación de entrada/actualización
• ${\fnMicrosoft Sans Serif}$: vector de activación de la puerta de salida
• ${\fnMicrosoft Sans Serif}$: vector de estado escondido también conocido como vector de salida de la unidad LSTM
• ${\fnMicrosoft Sans Serif}$: vector de activación de entrada celular
• ${\displaystyle c_{t}\in \mathbb {R} {h}$: vector de estado celular
• ${\displaystyle W\in \mathbb {R}$, ${\displaystyle U\in \mathbb {R} {h\times h}$ y ${\displaystyle b\in \mathbb {R} {h}$: matrices de peso y parámetros vectoriales de sesgo que deben aprenderse durante el entrenamiento

• ${\displaystyle \sigma _{g}$: función sigmoide.
• ${\displaystyle \sigma _{c}$: función tangente hiperbólica.
• ${\displaystyle \sigma _{h}$: función de tangente hiperbólico o, como sugiere el papel de peephole LSTM, ${\displaystyle \sigma _{h}(x)=x}$.

La figura de la derecha es una representación gráfica de una unidad LSTM con conexiones de peephole (es decir, un peephole LSTM). Las conexiones de peephole permiten a las puertas acceder al carrusel de error constante (CEC), cuya activación es el estado celular. ${\displaystyle h_{t-1}$ no se utiliza, ${\displaystyle C_{t-1}$ se utiliza en la mayoría de los lugares.

${\displaystyle {\begin{aligned}f_{t} ################################################################################################################################################################################################################################################################ C_{t-1}+i_{t}\odot \sigma _{c}( ¿Qué? {}}$

Cada una de las puertas se puede pensar como una neurona "estándar" en una red neuronal de alimentación (o multicapa): es decir, computan una activación (utilizando una función de activación) de una suma ponderada. ${\displaystyle ¿Qué?$ y ${\displaystyle f_{t}$ representan las activaciones de las puertas de entrada, salida y olvido respectivamente, a tiempo paso ${\displaystyle t}$.

Las 3 flechas de salida de la célula de memoria ${\displaystyle c}$ a las 3 puertas ${\displaystyle i,o}$ y ${\displaystyle f}$ representa al Peephole conexiones. Estas conexiones de peephole realmente denotan las contribuciones de la activación de la célula de memoria ${\displaystyle c}$ paso a tiempo ${\displaystyle t-1}$, es decir, la contribución de ${\displaystyle C_{t-1}$ (y no ${\displaystyle c_{t}$, como la imagen puede sugerir). En otras palabras, las puertas ${\displaystyle i,o}$ y ${\displaystyle f}$ calcular sus activaciones a tiempo paso ${\displaystyle t}$ (es decir, respectivamente, ${\displaystyle ¿Qué?$ y ${\displaystyle f_{t}$) también considerando la activación de la célula de memoria ${\displaystyle c}$ paso a tiempo ${\displaystyle t-1}$, es decir. ${\displaystyle C_{t-1}$.

La única flecha izquierda a derecha saliendo de la célula de memoria es no una conexión de peephole y denota ${\displaystyle c_{t}$.

Los pequeños círculos que contienen un ${\displaystyle \times }$ el símbolo representa una multiplicación a base de elemento entre sus entradas. Los grandes círculos que contienen un S-como la curva representan la aplicación de una función diferenciable (como la función sigmoide) a una suma ponderada.

Peephole convolutional LSTM. El ${\displaystyle *}$ denota al operador conversor.

${\displaystyle {\begin{aligned}f_{t} ¿Por qué? ¿Por qué? c_{t-1}+b_{i}\c_{t} C_{t-1}+i_{t}\odot \sigma _{c}( ¿Por qué? ¿Qué? ¿Qué? {}}$

Una RNN que utiliza unidades LSTM se puede entrenar de manera supervisada en un conjunto de secuencias de entrenamiento, utilizando un algoritmo de optimización como el descenso de gradiente combinado con retropropagación a través del tiempo para calcular los gradientes necesarios durante el proceso de optimización, con el fin de cambiar cada peso de la red LSTM en proporción a la derivada del error (en la capa de salida de la red LSTM) con respecto al peso correspondiente.

Un problema con el uso de linaje gradiente para RNNs estándar es que los gradientes de error desaparecen exponencialmente rápidamente con el tamaño del tiempo transcurrido entre eventos importantes. Esto se debe a ${\displaystyle \lim _{n\to \infty }W^{n}=0}$ si el radio espectral de ${\displaystyle W.$ es más pequeño que 1.

Sin embargo, con las unidades LSTM, cuando los valores de error se retropropagan desde la capa de salida, el error permanece en la celda de la unidad LSTM. Este "carrusel de errores" retroalimenta continuamente el error a cada una de las puertas de la unidad LSTM, hasta que aprenden a cortar el valor.

Muchas aplicaciones utilizan pilas de RNN LSTM y las entrenan mediante la clasificación temporal conexionista (CTC) para encontrar una matriz de ponderación de RNN que maximice la probabilidad de las secuencias de etiquetas en un conjunto de entrenamiento, dadas las secuencias de entrada correspondientes. La CTC logra tanto la alineación como el reconocimiento.

A veces, puede resultar ventajoso entrenar (partes de) un LSTM mediante neuroevolución o métodos de gradiente de políticas, especialmente cuando no hay un "maestro" (es decir, etiquetas de entrenamiento).

Las aplicaciones de LSTM incluyen:

2015: Google comenzó a utilizar un LSTM entrenado por CTC para el reconocimiento de voz en Google Voice. Según la publicación del blog oficial, el nuevo modelo redujo los errores de transcripción en un 49 %.

2016: Google comenzó a usar un LSTM para sugerir mensajes en la aplicación de conversación Allo. Ese mismo año, Google lanzó el sistema de traducción automática neuronal de Google para Google Translate, que usaba LSTM para reducir los errores de traducción en un 60 %.

Apple anunció en su Conferencia Mundial de Desarrolladores que empezará a utilizar el LSTM para escritura rápida en el iPhone y para Siri.

Amazon lanzó Polly, que genera las voces detrás de Alexa, utilizando un LSTM bidireccional para la tecnología de texto a voz.

2017: Facebook realizó alrededor de 4.500 millones de traducciones automáticas cada día utilizando redes de memoria de corto plazo.

Microsoft informó que alcanzó una precisión de reconocimiento del 94,9 % en el corpus de Switchboard, que incorpora un vocabulario de 165 000 palabras. El enfoque utilizó una "memoria a corto y largo plazo basada en sesiones de diálogo".

2018: OpenAI utilizó LSTM entrenado por gradientes de políticas para vencer a humanos en el complejo videojuego Dota 2 y para controlar una mano robótica similar a la humana que manipula objetos físicos con una destreza sin precedentes.

2019: DeepMind utilizó LSTM entrenado por gradientes de políticas para sobresalir en el complejo videojuego Starcraft II.

Algunos aspectos de LSTM fueron anticipados por la "retropropagación enfocada" (Mozer, 1989), citada en el artículo sobre LSTM.

La tesis de grado de Sepp Hochreiter, de 1991, analizó el problema del gradiente evanescente y desarrolló los principios del método. Su supervisor, Jürgen Schmidhuber, consideró que la tesis era muy importante.

En 1995 se publicó una versión preliminar del LSTM en un informe técnico elaborado por Sepp Hochreiter y Jürgen Schmidhuber, que luego se publicó en la conferencia NIPS de 1996.

El punto de referencia más utilizado para LSTM se publicó en 1997 en la revista Neural Computation. Al introducir unidades de carrusel de error constante (CEC), LSTM aborda el problema del gradiente evanescente. La versión inicial del bloque LSTM incluía celdas y puertas de entrada y salida.

(Felix Gers, Jürgen Schmidhuber y Fred Cummins, 1999) introdujeron la puerta de olvido (también llamada puerta de mantenimiento) en la arquitectura LSTM en 1999, lo que permite que el LSTM restablezca su propio estado. Esta es la versión más utilizada de LSTM en la actualidad.

(Gers, Schmidhuber y Cummins, 2000) agregaron conexiones de mirilla. Además, se omitió la función de activación de salida.

(Graves, Fernández, Gómez y Schmidhuber, 2006) introducen una nueva función de error para LSTM: la Clasificación Temporal Conexionista (CTC) para el alineamiento y reconocimiento simultáneo de secuencias.

(Graves, Schmidhuber, 2005) publicaron un LSTM con retropropagación completa a través del tiempo y un LSTM bidireccional.

(Kyunghyun Cho et al., 2014) publicaron una variante simplificada de la compuerta de olvido LSTM denominada unidad recurrente con compuerta (GRU).

(Rupesh Kumar Srivastava, Klaus Greff y Schmidhuber, 2015) utilizaron los principios de LSTM para crear la red Highway, una red neuronal de propagación hacia adelante con cientos de capas, mucho más profunda que las redes anteriores. Al mismo tiempo, se desarrolló la arquitectura ResNet, que es equivalente a una red de autopistas con puertas abiertas o sin puertas.

Un equipo dirigido por Sepp Hochreiter publicó una actualización moderna de LSTM llamada xLSTM (Maximilian et al, 2024). Uno de los dos bloques (mLSTM) de la arquitectura es paralelizable como la arquitectura Transformer, los otros (sLSTM) permiten el seguimiento de estados.

2004: Primera aplicación exitosa de LSTM al habla Alex Graves et al.

2001: Gers y Schmidhuber entrenaron a LSTM para aprender lenguajes que no se pueden aprender con modelos tradicionales como los modelos ocultos de Markov.

Hochreiter et al. utilizaron LSTM para el metaaprendizaje (es decir, el aprendizaje de un algoritmo de aprendizaje).

2005: Daan Wierstra, Faustino Gómez y Schmidhuber entrenaron a LSTM mediante neuroevolución sin un maestro.

Mayer et al. entrenaron a LSTM para controlar robots.

2007: Wierstra, Foerster, Peters y Schmidhuber entrenaron a LSTM mediante gradientes de políticas para el aprendizaje de refuerzo sin un profesor.

Hochreiter, Heuesel y Obermayr aplicaron el LSTM a la detección de homología de proteínas en el campo de la biología.

2009: Justin Bayer et al. introdujeron la búsqueda de arquitectura neuronal para LSTM.

2009: Un LSTM entrenado por CTC ganó la competencia de reconocimiento de escritura a mano conectada ICDAR. Un equipo dirigido por Alex Graves presentó tres modelos de este tipo. Uno fue el modelo más preciso de la competencia y otro fue el más rápido. Esta fue la primera vez que una RNN ganó competencias internacionales.

2013: Alex Graves, Abdel-rahman Mohamed y Geoffrey Hinton utilizaron redes LSTM como un componente principal de una red que logró una tasa récord de error de fonemas del 17,7 % en el conjunto de datos de habla natural clásico TIMIT.

Investigadores de la Universidad Estatal de Michigan, IBM Research y la Universidad de Cornell publicaron un estudio en la conferencia Knowledge Discovery and Data Mining (KDD). Su LSTM consciente del tiempo (T-LSTM) funciona mejor en ciertos conjuntos de datos que el LSTM estándar.

• Monner, Derek D.; Reggia, James A. (2010). "Un algoritmo generalizado de entrenamiento tipo LSTM para redes neuronales de segundo orden" (PDF). Redes neuronales. 25 1): 70–83. doi:10.1016/j.neunet.2011.07.003. PMC 3217173. PMID 21803542. Ampliación de alto rendimiento de LSTM que se ha simplificado a un único tipo de nodo y puede entrenar arquitecturas arbitrarias
• Gers, Felix A.; Schraudolph, Nicol N.; Schmidhuber, Jürgen (Aug 2002). "Aprender tiempo preciso con las redes recurrentes de LSTM" (PDF). Journal of Machine Learning Research. 3: 115 –143.
• Gers, Felix (2001). "Long Short-Term Memory in Recurrent Neural Networks" (PDF). tesis doctorales.
• Abidogun, Olusola Adeniyi (2005). Data Mining, Fraud Detection and Mobile Telecommunications: Call Pattern Analysis with Unsupervised Neural Networks. Tesis del Maestro (Tesis). Universidad del Cabo Occidental. hdl:11394/249. Archivado (PDF) original el 22 de mayo de 2012.
  • original con dos capítulos dedicados a explicar las redes neuronales recurrentes, especialmente LSTM.

• Redes neuronales periódicas con más de 30 documentos LSTM del grupo de Jürgen Schmidhuber en IDSIA
• Zhang, Aston; Lipton, Zachary; Li, Mu; Smola, Alexander J. (2024). "10.1. Memoria a corto plazo (LSTM)". Inmersión en el aprendizaje profundo. Cambridge New York Port Melbourne New Delhi Singapur: Cambridge University Press. ISBN 978-1-009-38943-3.