Línea de tiempo de la teoría de la información

Un cronograma de eventos relacionados con teoría de la información, teoría de la información cuántica y física estadística, compresión de datos, errores de corrección de códigos y temas relacionados.

• 1872 – Ludwig Boltzmann presenta su teorema H, y con ella la fórmula de lap_i log p_i para la entropía de una sola partícula de gas
• 1878 – J. Willard Gibbs define la entropía de Gibbs: las probabilidades en la fórmula de la entropía ahora se toman como probabilidades del estado del entero sistema
• 1924 – Harry Nyquist habla de cuantificación "inteligencia" y la velocidad a la que puede ser transmitida por un sistema de comunicación
• 1927 – John von Neumann define la entropía de von Neumann, extendiendo la entropía de Gibbs a la mecánica cuántica
• 1928 – Ralph Hartley presenta Información de Hartley como el logaritmo del número de mensajes posibles, con la información que se comunica cuando el receptor puede distinguir una secuencia de símbolos de cualquier otro (independientemente de cualquier significado asociado)
• 1929 – Leó Szilárd analiza el Demonio de Maxwell, mostrando cómo un motor Szilard a veces puede transformar la información en la extracción de trabajo útil
• 1940 – Alan Turing presenta el deciban como una medida de información inferida sobre la configuración de la máquina de Enigma alemana en el proceso de Banburismus
• 1944 – La teoría de la información de Claude Shannon está sustancialmente completa
• 1947 – Richard W. Hamming inventa códigos Hamming para la detección y corrección de errores (para proteger los derechos de patentes, el resultado no se publica hasta 1950)
• 1948 – Claude E. Shannon publica Una teoría matemática de la comunicación
• 1949 – Claude E. Shannon publica Comunicación en presencia de ruido – Teorema de muestreo de Nyquist–Shannon y ley Shannon–Hartley
• 1949 – Claude E. Shannon Teoría de comunicación de sistemas de secreto es desclasificado
• 1949 – Robert M. Fano publica Transmisión de información. M.I.T. Press, Cambridge, Massachusetts – Coding Shannon–Fano
• 1949 – Leon G. Kraft descubre la desigualdad de Kraft, que muestra los límites de los códigos prefijos
• 1949 – Marcel J. E. Golay presenta Códigos Golay para corrección de error de avance
• 1951 – Solomon Kullback y Richard Leibler presentan la divergencia Kullback-Leibler
• 1951 – David A. Huffman inventa la codificación Huffman, un método para encontrar códigos de prefijo óptimos para la compresión de datos sin pérdidas
• 1953 – August Albert Sardinas y George W. Patterson idean el algoritmo Sardinas-Patterson, un procedimiento para decidir si un código de longitud variable dado es únicamente decodificable
• 1954 – Irving S. Reed y David E. Muller proponen códigos Reed-Muller
• 1955 – Peter Elias introduce códigos convolutivos
• 1957 – Eugene Prange habla primero de códigos cíclicos
• 1959 – Alexis Hocquenghem, e independientemente el próximo año Raj Chandra Bose y Dwijendra Kumar Ray-Chaudhuri, descubrir códigos BCH
• 1960 – Irving S. Reed y Gustave Solomon proponen códigos Reed-Solomon
• 1962 – Robert G. Gallager propone códigos de verificación de paridad de baja densidad; no se utilizan durante 30 años debido a limitaciones técnicas
• 1965 – Dave Forney habla de códigos concatenados
• 1966 – Fumitada Itakura (Universidad de Nagoya) y Shuzo Saito (Nippon Telegraph y Teléfono) desarrollan codificación predictiva lineal (LPC), una forma de codificación del discurso
• 1967 – Andrew Viterbi revela el algoritmo Viterbi, haciendo posible la decodificación de códigos convolutivos
• 1968 – Elwyn Berlekamp inventa el algoritmo Berlekamp-Massey; su aplicación para decodificar códigos BCH y Reed–Solomon es señalada por James L. Massey el año siguiente
• 1968 – Chris Wallace y David M. Boulton publican el primero de muchos artículos sobre la duración mínima del mensaje (MML) estadística e inferencia inductiva
• 1970 – Valerii Denisovich Goppa presenta Códigos Goppa
• 1972 – Jørn Justesen propone códigos Justesen, una mejora de los códigos Reed-Solomon
• 1972 – Nasir Ahmed propone la discreta transformación cosina (DCT), que desarrolla con T. Natarajan y K. R. Rao en 1973; el DCT más tarde se convirtió en el algoritmo de compresión de pérdida más utilizado, la base para formatos multimedia como JPEG, MPEG y MP3
• 1973 – David Slepian y Jack Wolf descubren y prueban los límites de codificación Slepian-Wolf para codificación de fuentes distribuidas
• 1976 – Gottfried Ungerboeck da el primer papel sobre la modulación de trellis; una exposición más detallada en 1982 conduce a una elevación de velocidades de módem analógico POTS de 9.6 kbit/s a 33.6 kbit/s
• 1976 – Richard Pasco y Jorma J. Rissanen desarrollan técnicas eficaces de codificación aritmética
• 1977 – Abraham Lempel y Jacob Ziv desarrollan compresión Lempel–Ziv (LZ77)
• 1982 – Valerii Denisovich Goppa introduce códigos de geometría algebraica
• 1989 – Phil Katz publica el formato.zip incluyendo DEFLATE (LZ77 + codificación Huffman); más tarde convertirse en el contenedor de archivos más utilizado
• 1993 – Claude Berrou, Alain Glavieux y Punya Thitimajshima introducen códigos Turbo
• 1994 – Michael Burrows y David Wheeler publican la transformación de Burrows-Wheeler, más tarde para encontrar uso en bzip2
• 1995 – Benjamin Schumacher acuña el término qubit y prueba el teorema de codificación sin ruido cuántico
• 2003 – David J. C. MacKay muestra la conexión entre la teoría de la información, la inferencia y el aprendizaje automático en su libro.
• 2006 – Jarosław Duda presenta los primeros sistemas de numeral asimétricos codificación entropía: desde 2014 reemplazo popular de Huffman y codificación aritmética en compresores como Facebook Zstandard, Apple LZFSE, CRAM o JPEG XL
• 2008 – Erdal Arıkan introduce códigos polares, la primera construcción práctica de códigos que consigue capacidad para una amplia gama de canales