Red neuronal con picos

Las redes neuronales con picos (SNN) son redes neuronales artificiales (ANN) que imitan de forma más precisa a las redes neuronales naturales. Estos modelos aprovechan la sincronización de picos discretos como principal portador de información.

Además del estado neuronal y sináptico, las redes neuronales supranucleares incorporan el concepto de tiempo en su modelo operativo. La idea es que las neuronas de las redes neuronales supranucleares no transmiten información en cada ciclo de propagación (como sucede con las típicas redes perceptrónicas multicapa), sino que transmiten información sólo cuando un potencial de membrana (una cualidad intrínseca de la neurona relacionada con su carga eléctrica de membrana) alcanza un valor específico, llamado umbral. Cuando el potencial de membrana alcanza el umbral, la neurona se activa y genera una señal que viaja a otras neuronas que, a su vez, aumentan o disminuyen sus potenciales en respuesta a esta señal. Un modelo de neurona que se activa en el momento en que se cruza el umbral también se denomina modelo de neurona en descarga.

Aunque antes se creía que el cerebro codificaba la información a través de tasas de picos, que pueden considerarse como la salida variable analógica de una ANN tradicional, la investigación en el campo de la neurobiología ha indicado que el procesamiento a alta velocidad no puede realizarse únicamente a través de un esquema basado en la tasa. Por ejemplo, los humanos pueden realizar una tarea de reconocimiento de imágenes a una tasa que no requiere más de 10 ms de tiempo de procesamiento por neurona a través de las capas sucesivas (desde la retina hasta el lóbulo temporal). Esta ventana de tiempo es demasiado corta para una codificación basada en la tasa. Los tiempos de pico precisos en un pequeño conjunto de neuronas que emiten picos también tienen una mayor capacidad de codificación de información en comparación con un enfoque basado en la tasa.

El modelo de neurona con picos más destacado es el modelo de integración y disparo con fugas. En este modelo, el nivel de activación momentáneo (modelado como una ecuación diferencial) se considera normalmente el estado de la neurona, y los picos entrantes aumentan o disminuyen este valor hasta que el estado finalmente decae o, si se alcanza el umbral de disparo, la neurona se activa. Después del disparo, la variable de estado se restablece a un valor inferior.

Existen varios métodos de decodificación para interpretar el tren de picos saliente como un número de valor real, basándose en la frecuencia de los picos (código de velocidad), el tiempo hasta el primer pico después de la estimulación o el intervalo entre picos.

Muchas redes neuronales artificiales multicapa están completamente conectadas, reciben información de cada neurona de la capa anterior y envían señales a cada neurona de la capa siguiente. Aunque estas redes han logrado avances en muchos campos, son biológicamente inexactas y no imitan el mecanismo de funcionamiento de las neuronas en el cerebro de un ser vivo.

El modelo de Hodgkin-Huxley, de inspiración biológica, de una neurona en actividad, fue propuesto en 1952. Este modelo describe cómo se inician y propagan los potenciales de acción. La comunicación entre neuronas, que requiere el intercambio de neurotransmisores químicos en el espacio sináptico, se describe en varios modelos, como el modelo de integración y disparo, el modelo de FitzHugh-Nagumo (1961-1962) y el modelo de Hindmarsh-Rose (1984). El modelo de integración y disparo con fugas (o un derivado) se utiliza comúnmente porque es más fácil de calcular que el modelo de Hodgkin-Huxley.

Si bien la noción de red neuronal artificial de picos se hizo muy popular recién durante el primer cuarto del siglo XXI, existen numerosos estudios entre 1980 y 1995 que respaldaron el concepto y en los que aparecieron los primeros modelos de este tipo de redes neuronales artificiales para simular sistemas inteligentes de procesamiento de información no algorítmicos. Sin embargo, la noción misma de red neuronal de picos como modelo matemático ya había sido trabajada a principios de los años 70.

La información en el cerebro se representa como potenciales de acción (picos neuronales), que pueden agruparse en trenes de picos o incluso en ondas coordinadas de actividad cerebral. Una cuestión fundamental de la neurociencia es determinar si las neuronas se comunican mediante un código temporal o de ritmo. La codificación temporal sugiere que una única neurona que emite picos puede reemplazar a cientos de unidades ocultas en una red neuronal sigmoidea.

Una red neuronal segmentada (SNN) realiza sus cálculos en el dominio continuo en lugar del discreto. La idea es que las neuronas no puedan comprobar si se activan en cada iteración de propagación (como es el caso de una red perceptrónica multicapa típica), sino solo cuando sus potenciales de membrana alcanzan un valor determinado. Cuando una neurona se activa, produce una señal que se transmite a las neuronas conectadas, aumentando o disminuyendo su potencial de membrana.

En una red neuronal con picos, el estado actual de una neurona se define como su potencial de membrana (posiblemente modelado como una ecuación diferencial). Un pulso de entrada hace que el potencial de membrana aumente durante un período de tiempo y luego disminuya gradualmente. Se han construido esquemas de codificación para interpretar estas secuencias de pulsos como un número, teniendo en cuenta tanto la frecuencia como el intervalo de pulso. Se puede establecer un modelo de red neuronal basado en el tiempo de generación de pulsos. Al utilizar el tiempo exacto de ocurrencia del pulso, una red neuronal puede emplear más información y ofrecer mejores propiedades de computación.

El enfoque SNN produce una salida continua en lugar de la salida binaria de las redes neuronales artificiales (ANN) tradicionales. Los trenes de pulsos no son fácilmente interpretables, de ahí la necesidad de esquemas de codificación como los anteriores. Sin embargo, una representación de tren de pulsos puede ser más adecuada para procesar datos espaciotemporales (o clasificación continua de datos sensoriales del mundo real). Las SNN consideran el espacio conectando neuronas solo con neuronas cercanas para que procesen bloques de entrada por separado (similar a CNN usando filtros). Consideran el tiempo codificando la información como trenes de pulsos para no perder información en una codificación binaria. Esto evita la complejidad adicional de una red neuronal recurrente (RNN). Resulta que las neuronas de impulso son unidades computacionales más poderosas que las neuronas artificiales tradicionales.

Las SNN son teóricamente más potentes que las llamadas "redes de segunda generación", definidas como "[ANN] basadas en unidades computacionales que aplican una función de activación con un conjunto continuo de posibles valores de salida a una suma ponderada (o polinomio) de las entradas; sin embargo, los problemas de entrenamiento de las SNN y los requisitos de hardware limitan su uso. Aunque existen métodos de aprendizaje no supervisados inspirados en la biología, como el aprendizaje hebbiano y el STDP, no existe ningún método de entrenamiento supervisado efectivo que sea adecuado para las SNN y que pueda proporcionar un mejor rendimiento que las redes de segunda generación. La activación basada en picos de las SNN no es diferenciable, por lo que resulta difícil desarrollar métodos de entrenamiento basados en el descenso de gradiente para realizar la retropropagación de errores.

Las SNN tienen costos computacionales mucho mayores para simular modelos neuronales realistas que las ANN tradicionales.

Las redes neuronales acopladas a pulsos (PCNN) suelen confundirse con las SNN. Una PCNN puede considerarse como un tipo de SNN.

Actualmente, existen algunos desafíos al utilizar redes neuronales restringidas en los que los investigadores están trabajando activamente. El primer desafío se refiere a la no diferenciabilidad de la no linealidad de picos. Las expresiones para los métodos de aprendizaje hacia adelante y hacia atrás contienen la derivada de la función de activación neuronal, que no es diferenciable porque la salida de la neurona es 1 cuando se dispara y 0 en caso contrario. Este comportamiento de todo o nada de la no linealidad de picos binarios impide que los gradientes "fluyan" y hace que las neuronas LIF no sean adecuadas para la optimización basada en gradientes. El segundo desafío se refiere a la implementación del algoritmo de optimización en sí. La BP estándar puede ser costosa en términos de computación, memoria y comunicación y puede ser poco adecuada para las restricciones dictadas por el hardware que la implementa (por ejemplo, una computadora, un cerebro o un dispositivo neuromórfico). Con respecto al primer desafío, existen varios enfoques para resolverlo. Algunos de ellos son:

1. recurrir a reglas de aprendizaje local totalmente inspiradas biológicamente para las unidades ocultas
2. Traductor de NN convencionalmente entrenados “basados en tasa” a SNN
3. suavizar el modelo de red para ser continuamente diferente
4. definir un SG (Surrogate Gradient) como una relajación continua de los gradientes reales

En el desarrollo de las redes neuronales de subsuelo, la incorporación de dinámicas neuronales adicionales como la Adaptación de la Frecuencia de Espigas (SFA, por sus siglas en inglés) en los modelos neuronales marca un avance notable, mejorando tanto la eficiencia como la potencia computacional. Estas neuronas se encuentran entre la complejidad biológica y la complejidad computacional. La SFA, que se origina a partir de conocimientos biológicos, ofrece importantes beneficios computacionales al reducir el uso de energía mediante una codificación eficiente, especialmente en casos de estímulos repetitivos o intensos. Esta adaptación mejora la claridad de la señal frente al ruido de fondo e introduce una memoria elemental a corto plazo a nivel neuronal, que a su vez, refina la precisión y la eficiencia del procesamiento de la información. Recientemente, este fenómeno se logró principalmente utilizando modelos neuronales compartimentados. Las versiones más simples son modelos neuronales con umbrales adaptativos, una forma indirecta de lograr la SFA. Equipa a las redes neuronales de subsuelo con capacidades de aprendizaje mejoradas, incluso con plasticidad sináptica restringida, y eleva la eficiencia computacional. Esta característica reduce la demanda de las capas de red al disminuir la necesidad de procesamiento de picos, lo que reduce la carga computacional y el tiempo de acceso a la memoria, aspectos esenciales de la computación neuronal. Además, las SNN que utilizan neuronas capaces de SFA logran niveles de precisión que rivalizan con los de las redes neuronales artificiales convencionales, incluidas las basadas en modelos de memoria a corto plazo a largo plazo, al tiempo que requieren menos neuronas para tareas computacionales comparables. Esta eficiencia no solo agiliza el flujo de trabajo computacional, sino que también conserva espacio y energía, lo que ofrece un avance pragmático en la aplicación práctica de las SNN para tareas computacionales complejas, al tiempo que mantiene un compromiso con la integridad técnica. Redes neuronales de picos profundos de alto rendimiento con 0,3 picos por neurona

Las SNN pueden, en principio, aplicarse a las mismas aplicaciones que las ANN tradicionales. Además, las SNN pueden modelar el sistema nervioso central de organismos biológicos, como un insecto que busca alimento sin conocimiento previo del entorno. Debido a su realismo relativo, pueden utilizarse para estudiar el funcionamiento de circuitos neuronales biológicos. Partiendo de una hipótesis sobre la topología de un circuito neuronal biológico y su función, las grabaciones de este circuito pueden compararse con la salida de la SNN correspondiente, evaluando la plausibilidad de la hipótesis. Sin embargo, existe una falta de mecanismos de entrenamiento efectivos para las SNN, lo que puede resultar inhibidor para algunas aplicaciones, incluidas las tareas de visión artificial.

A partir de 2019, las SNN están por detrás de las ANN en términos de precisión, pero la brecha está disminuyendo y ha desaparecido en algunas tareas.

Al utilizar redes neuronales de red para datos basados en imágenes, las imágenes deben convertirse en trenes de picos binarios. Los tipos de codificaciones incluyen:

• Codificación temporal; generando un pico por neurona, en el que la latencia del pico es inversamente proporcional a la intensidad del píxel.
• Codificación de tarifas: convertir la intensidad del píxel en un tren de punta, donde el número de espigas es proporcional a la intensidad del píxel.
• Codificación directa; usando una capa capacitable para generar un valor de punto flotante para cada paso de tiempo. La capa convierte cada pixel en un determinado paso en un valor de punto flotante, y luego se utiliza un umbral en los valores de punto flotante generados para elegir cero o uno.
• Codificación de fases; codificación de información temporal en patrones de pico basados en un oscilador global.
• Codificación del entierro; transmisión de una explosión de picos en un pequeño tiempo, aumentando la fiabilidad de la comunicación sináptica entre las neuronas.

Existe una amplia gama de software de aplicación que puede simular redes neuronales retículas. Este software se puede clasificar según sus usos:

Estos simulan modelos neuronales complejos con un alto nivel de detalle y precisión. Las redes grandes suelen requerir un procesamiento prolongado. Los candidatos incluyen:

• Brian – desarrollado por Romain Brette y Dan Goodman en la École Normale Supérieure;
• GENESIS (sistema de simulación neuronural GEneral) - desarrollado en el laboratorio de James Bower en Caltech;
• NEST – desarrollado por la Iniciativa NEST;
• NEURON - desarrollado principalmente por Michael Hines, John W. Moore y Ted Carnevale en la Universidad de Yale y Duke University;
• RAVSim (Runtime Tool) - desarrollado principalmente por Sanaullah en la Universidad de Bielefeld de Ciencias Aplicadas y Artes;

Las futuras arquitecturas neuromórficas comprenderán miles de millones de estas nanosinapsis, que requieren una comprensión clara de los mecanismos físicos responsables de la plasticidad. Se han utilizado sistemas experimentales basados en uniones túnel ferroeléctricas para demostrar que la STDP se puede aprovechar a partir de la conmutación de polarización heterogénea. Mediante la combinación de imágenes de sonda de barrido, transporte eléctrico y dinámica molecular a escala atómica, las variaciones de conductancia se pueden modelar mediante la inversión de dominios dominada por la nucleación. Las simulaciones muestran que las matrices de nanosinapsis ferroeléctricas pueden aprender de forma autónoma a reconocer patrones de una manera predecible, abriendo el camino hacia el aprendizaje no supervisado.

• Akida es un dispositivo de procesamiento neuronal completamente digital basado en eventos con 1,2 millones de neuronas artificiales y 10 mil millones de sinapsis artificiales desarrolladas por BrainChip. Utilizando la posesión basada en eventos, analiza insumos esenciales en puntos específicos. Los resultados se almacenan en las unidades de memoria en chip.
• Neurogrid es un tablero que puede simular las redes neuronales de arañazo directamente en hardware. (Stanford University)
• SpiNNaker (Spiking Neural Network Architecture) utiliza procesadores ARM como bloques de construcción de una plataforma de cálculo masivamente paralela basada en un modelo thalamocortical de seis capas. (Universidad de Manchester) El sistema SpiNNaker se basa en modelos numéricos que funcionan en tiempo real en chips multicore digitales personalizados utilizando la arquitectura ARM. Proporciona chips digitales personalizados, cada uno con dieciocho núcleos y una RAM local compartida 128 Mbyte, con un total de más de 1.000.000 núcleos. Un solo chip puede simular 16.000 neuronas con ocho millones de sinapsis de plástico funcionando en tiempo real.
• TrueNorth es un procesador que contiene 5.4 billones de transistores que consume sólo 70 milliwatts; la mayoría de los procesadores en computadoras personales contienen alrededor de 1.400 millones de transistores y requieren 35 vatios o más. IBM se refiere al principio de diseño detrás de TrueNorth como computación neuromorfo. Su propósito principal es el reconocimiento de patrones. Mientras los críticos dicen que el chip no es lo suficientemente poderoso, sus partidarios señalan que esto es sólo la primera generación, y las capacidades de las iteraciones mejoradas se volverán claras. (IBM)

Las capacidades de clasificación de las redes de picos entrenadas según métodos de aprendizaje no supervisado se han probado en los conjuntos de datos de referencia comunes, como los conjuntos de datos Iris, Wisconsin Breast Cancer o Statlog Landsat. Se han utilizado varios enfoques para la codificación de la información y el diseño de redes. Por ejemplo, una red de avance de dos capas para la agrupación y clasificación de datos. Basándose en la idea propuesta en Hopfield (1995), los autores implementaron modelos de campos receptivos locales que combinan las propiedades de las funciones de base radial (RBF) y las neuronas de picos para convertir las señales de entrada (datos clasificados) que tienen una representación de punto flotante en una representación de picos.