Historia de la teoría de la información

El acontecimiento decisivo que estableció la disciplina de la teoría de la información y le dio una atención mundial inmediata fue la publicación del artículo clásico de Claude E. Shannon "Una teoría matemática de la comunicación" en el Bell System Technical Journal en julio y octubre de 1948.

En este artículo revolucionario e innovador, cuyo trabajo Shannon había completado en gran parte en Bell Labs a fines de 1944, Shannon introdujo por primera vez el modelo cualitativo y cuantitativo de la comunicación como un proceso estadístico subyacente a la teoría de la información, comenzando con la afirmación de que

"El problema fundamental de la comunicación es el de reproducir en un punto, exactamente o aproximadamente, un mensaje seleccionado en otro punto".

Con ello surgieron las ideas de

• la información entropía y redundancia de una fuente, y su relevancia a través del teorema de codificación fuente;
• la información mutua, y la capacidad de canal de un canal ruidoso, incluyendo la promesa de una comunicación perfecta sin pérdidas dada por el teorema de codificación ruidoso-canal;
• el resultado práctico de la ley Shannon-Hartley para la capacidad de canal de un canal Gaussiano; y por supuesto
• el bit - una nueva manera de ver la unidad de información más fundamental.

Algunos de los métodos de telecomunicaciones más antiguos utilizan implícitamente muchas de las ideas que luego se cuantificarían en la teoría de la información. La telegrafía moderna, a partir de la década de 1830, usó el código Morse, en el que las letras más comunes (como " E ", que se expresan como una " Dot ") se transmiten más rápido que las letras menos comunes (como " J ", que se expresa por un " Dot " seguido de tres " Dashes "). La idea de codificar información de esta manera es la piedra angular de la compresión de datos sin pérdidas. Cien años después, la modulación de frecuencia ilustró que el ancho de banda puede considerarse simplemente otro grado de libertad. El vocoder, ahora considerado en gran medida como una curiosidad de ingeniería de audio, fue diseñado originalmente en 1939 para usar menos ancho de banda que el de un mensaje original, de la misma manera que los teléfonos móviles ahora intercambian calidad de voz con el ancho de banda.

Los antecedentes más directos del trabajo de Shannon fueron dos artículos publicados en la década de 1920 por Harry Nyquist y Ralph Hartley, quienes todavía eran líderes de investigación en Bell Labs cuando Shannon llegó a principios de la década de 1940.

El artículo de Nyquist de 1924, "Ciertos factores que afectan la velocidad del telégrafo", se centra principalmente en algunos aspectos de ingeniería detallados de las señales telegráficas. Pero una sección más teórica analiza la cuantificación de la "inteligencia" y la "velocidad de línea" a la que puede transmitirse mediante un sistema de comunicación, dando la relación

${\displaystyle W=K\log m\,}$

donde W es la velocidad de transmisión de la inteligencia, m es el número de niveles de voltaje diferentes para elegir en cada paso de tiempo y K es una constante.

El artículo de Hartley de 1928, titulado simplemente "Transmisión de información", fue más allá al utilizar la palabra "información" (en un sentido técnico) y dejar en claro explícitamente que la información en este contexto era una cantidad medible, que reflejaba únicamente la capacidad del receptor de distinguir que una secuencia de símbolos había sido la que el emisor había querido transmitir y no cualquier otra, independientemente de cualquier significado asociado u otro aspecto psicológico o semántico que los símbolos pudieran representar. Cuantificó esta cantidad de información como

${\displaystyle H=\log S^{n}\,}$

donde S era el número de símbolos posibles y n el número de símbolos en una transmisión. La unidad natural de información era, por tanto, el dígito decimal, mucho más tarde rebautizado como hartley en su honor como unidad, escala o medida de información. La información de Hartley, H₀, todavía se utiliza como cantidad para el logaritmo del número total de posibilidades.

Una unidad similar de probabilidad de log10, el ban, y su unidad derivada, el deciban (una décima parte de un ban), fueron introducidas por Alan Turing en 1940 como parte del análisis estadístico del descifrado de las cifras Enigma alemanas de la Segunda Guerra Mundial. El decibannage representaba la reducción (el logaritmo) del número total de posibilidades (similar al cambio en la información de Hartley); y también la razón de verosimilitud logarítmica (o cambio en el peso de la evidencia) que se podía inferir para una hipótesis sobre otra a partir de un conjunto de observaciones. El cambio esperado en el peso de la evidencia es equivalente a lo que más tarde se denominó información de discriminación de Kullback.

Pero en el fondo de esta noción subyacía la idea de probabilidades iguales a priori, más que el contenido informativo de acontecimientos de probabilidad desigual, y tampoco ninguna imagen subyacente de cuestiones relativas a la comunicación de resultados tan variados.

En una carta de 1939 a Vannevar Bush, Shannon ya había esbozado algunas de sus ideas iniciales sobre la teoría de la información.

Un área en la que las probabilidades desiguales eran bien conocidas era la mecánica estadística, donde Ludwig Boltzmann, en el contexto de su teorema H de 1872, introdujo por primera vez la cantidad

${\displaystyle H=-\sum f_{i}\log F_{i}$

como una medida de la amplitud de la dispersión de estados disponibles para una sola partícula en un gas de partículas similares, donde f representa la distribución de frecuencia relativa de cada estado posible. Boltzmann argumentó matemáticamente que el efecto de las colisiones entre las partículas haría que la función H aumentara inevitablemente desde cualquier configuración inicial hasta que se alcanzara el equilibrio; y además la identificó como una lógica microscópica subyacente para la entropía termodinámica macroscópica de Clausius.

La definición de Boltzmann fue rápidamente reelaborada por el físico matemático estadounidense J. Willard Gibbs y convertida en una fórmula general para la entropía estadístico-mecánica, que ya no requería partículas idénticas y no interactuantes, sino que se basaba en la distribución de probabilidad p_i para el microestado completo i del sistema total:

${\displaystyle S=-k_{\text{B}\sum P_{i}\ln ¿Qué?$

Se puede comprobar que esta entropía (de Gibbs), de la mecánica estadística, se corresponde directamente con la definición termodinámica clásica de Clausius.

El propio Shannon aparentemente no era particularmente consciente de la estrecha similitud entre su nueva medida y trabajos anteriores en termodinámica, pero John von Neumann sí lo era. Se dice que, cuando Shannon estaba decidiendo cómo llamar a su nueva medida y temiendo que el término "información" ya se hubiera usado en exceso, von Neumann le dijo firmemente: "Deberías llamarla entropía, por dos razones. En primer lugar, tu función de incertidumbre se ha utilizado en mecánica estadística con ese nombre, por lo que ya tiene un nombre. En segundo lugar, y más importante, nadie sabe realmente qué es la entropía, por lo que en un debate siempre tendrás la ventaja".

(Las conexiones entre la entropía teórica de la información y la entropía termodinámica, incluidas las importantes contribuciones de Rolf Landauer en la década de 1960, se exploran con más detalle en el artículo Entropía en termodinámica y teoría de la información).

La publicación del artículo de Shannon de 1948, "Una teoría matemática de la comunicación", en el Bell System Technical Journal fue el punto de partida de la teoría de la información tal como la conocemos hoy en día. Desde entonces se han producido muchos avances y aplicaciones de la teoría que han hecho posible la existencia de muchos dispositivos modernos de comunicación y almacenamiento de datos, como los CD-ROM y los teléfonos móviles.

En una cronología de la teoría de la información se enumeran los desarrollos posteriores más notables, entre ellos:

• El 1951, invento de la codificación Huffman, un método para encontrar códigos de prefijo óptimos para la compresión de datos sin pérdidas.
• Irving S. Reed y David E. Muller proponiendo códigos Reed-Muller en 1954.
• La propuesta de 1960 de códigos Reed-Solomon.
• En 1966, Fumitada Itakura (Universidad Nagoya) y Shuzo Saito (Nippon Telegraph y Teléfono) desarrollan una codificación predictiva lineal (LPC), una forma de codificación del discurso.
• En 1968, Elwyn Berlekamp inventa el algoritmo de Berlekamp-Massey; su aplicación para decodificar códigos BCH y Reed-Solomon es señalada por James L. Massey el año siguiente.
• En 1972, Nasir Ahmed propone la discreta transformación cosina (DCT). Más tarde se convierte en el algoritmo de compresión de pérdida más utilizado, y la base para estándares de compresión de medios digitales a partir de 1988, incluyendo H.26x (desde H.261) y estándares de codificación de vídeo MPEG, compresión de imagen JPEG, compresión de audio MP3 y Codificación de audio avanzada (AAC).
• En 1976, Gottfried Ungerboeck da el primer papel sobre la modulación de trellis; una exposición más detallada en 1982 conduce a una elevación de las velocidades POTS de modo análogo de 9.6 kbit/s a 33.6 kbit/s
• En 1977, Abraham Lempel y Jacob Ziv desarrollan compresión Lempel-Ziv (LZ77)
• A principios de la década de 1980, Renuka P. Jindal en Bell Labs mejora el rendimiento de ruido de los dispositivos metal-oxide-semiconductor (MOS), resolviendo problemas que limitan su sensibilidad de receptor y las tasas de datos. Esto conduce a la amplia adopción de la tecnología MOS en sistemas de ondas láser y aplicaciones terminales inalámbricas, permitiendo la ley de Edholm.
• En 1989, Phil Katz publica el formato.zip incluyendo DEFLATE (LZ77 + codificación Huffman); más tarde se convierte en el contenedor de archivos más utilizado.
• En 1995, Benjamin Schumacher acuña el término qubit y prueba el teorema de codificación sin ruido cuántico.

• Timeline of information theory
• Claude Shannon
• Ralph Hartley
• H-theorem