Teoria da informação

Teoria da informação é o estudo matemático da quantificação, armazenamento e comunicação da informação. O campo foi originalmente estabelecido pelos trabalhos de Harry Nyquist e Ralph Hartley, na década de 1920, e Claude Shannon, na década de 1940. O campo está na interseção da teoria da probabilidade, estatística, ciência da computação, mecânica estatística, engenharia da informação e engenharia elétrica.

Uma medida chave na teoria da informação é a entropia. A entropia quantifica a quantidade de incerteza envolvida no valor de uma variável aleatória ou no resultado de um processo aleatório. Por exemplo, identificar o resultado de um cara ou coroa justo (com dois resultados igualmente prováveis) fornece menos informações (menor entropia, menos incerteza) do que especificar o resultado de um lançamento de dados (com seis resultados igualmente prováveis). Algumas outras medidas importantes na teoria da informação são informações mútuas, capacidade do canal, expoentes de erro e entropia relativa. Subcampos importantes da teoria da informação incluem codificação de fonte, teoria algorítmica da complexidade, teoria algorítmica da informação e segurança teórica da informação.

Aplicações de tópicos fundamentais da teoria da informação incluem codificação de origem/compressão de dados (por exemplo, para arquivos ZIP) e codificação de canal/detecção e correção de erros (por exemplo, para DSL). Seu impacto foi crucial para o sucesso das missões Voyager ao espaço profundo, a invenção do disco compacto, a viabilidade dos telefones celulares e o desenvolvimento da Internet. A teoria também encontrou aplicações em outras áreas, incluindo inferência estatística, criptografia, neurobiologia, percepção, linguística, evolução e função de códigos moleculares (bioinformática), física térmica, dinâmica molecular, computação quântica, buracos negros, recuperação de informações, coleta de inteligência, detecção de plágio, reconhecimento de padrões, detecção de anomalias e até criação de arte.

Visão geral

A teoria da informação estuda a transmissão, processamento, extração e utilização da informação. Abstratamente, a informação pode ser pensada como a resolução da incerteza. No caso da comunicação de informações por um canal ruidoso, esse conceito abstrato foi formalizado em 1948 por Claude Shannon em um artigo intitulado A Mathematical Theory of Communication, no qual a informação é pensada como um conjunto de possibilidades mensagens, e o objetivo é enviar essas mensagens por um canal ruidoso e fazer com que o receptor reconstrua a mensagem com baixa probabilidade de erro, apesar do ruído do canal. O principal resultado de Shannon, o teorema da codificação do canal ruidoso, mostrou que, no limite de muitos usos do canal, a taxa de informação assintoticamente atingível é igual à capacidade do canal, uma quantidade dependente apenas das estatísticas do canal através do qual as mensagens são enviadas.

A teoria da codificação está preocupada em encontrar métodos explícitos, chamados códigos, para aumentar a eficiência e reduzir a taxa de erro de comunicação de dados em canais ruidosos para próximo da capacidade do canal. Esses códigos podem ser subdivididos em técnicas de compressão de dados (codificação de origem) e correção de erros (codificação de canal). Neste último caso, levou muitos anos para encontrar os métodos que o trabalho de Shannon provou serem possíveis.

Uma terceira classe de códigos da teoria da informação são os algoritmos criptográficos (tanto códigos quanto cifras). Conceitos, métodos e resultados da teoria da codificação e da teoria da informação são amplamente utilizados em criptografia e criptoanálise. Veja a proibição do artigo (unidade) para uma aplicação histórica.

Antecedentes históricos

O evento marcante estabelecendo a disciplina da teoria da informação e trazendo-a para a atenção mundial imediata foi a publicação do artigo clássico de Claude E. Shannon "A Mathematical Theory of Communication' 34; no Bell System Technical Journal em julho e outubro de 1948.

Antes deste artigo, ideias limitadas de teoria da informação foram desenvolvidas no Bell Labs, todas assumindo implicitamente eventos de igual probabilidade. O artigo de Harry Nyquist de 1924, Certos fatores que afetam a velocidade do telégrafo, contém uma seção teórica que quantifica a "inteligência" e a "velocidade da linha" em que pode ser transmitido por um sistema de comunicação, dando a relação W = K log m (lembrando a constante de Boltzmann), onde W é a velocidade de transmissão da inteligência, m é o número de diferentes níveis de voltagem para escolher em cada intervalo de tempo e K é uma constante. O artigo de Ralph Hartley de 1928, Transmissão de informações, usa a palavra informação como uma quantidade mensurável, refletindo a capacidade do receptor de distinguir uma sequência de símbolos de qualquer outro, quantificando assim as informações como H = log Sⁿ = n log S, onde S era o número de símbolos possíveis e n o número de símbolos em uma transmissão. A unidade de informação era, portanto, o dígito decimal, que desde então às vezes é chamado de Hartley em sua homenagem como unidade, escala ou medida de informação. Alan Turing, em 1940, usou ideias semelhantes como parte da análise estatística da quebra das cifras Enigma alemãs da segunda guerra mundial.

Grande parte da matemática por trás da teoria da informação com eventos de diferentes probabilidades foi desenvolvida para o campo da termodinâmica por Ludwig Boltzmann e J. Willard Gibbs. As conexões entre a entropia da teoria da informação e a entropia termodinâmica, incluindo as importantes contribuições de Rolf Landauer na década de 1960, são exploradas em Entropia na termodinâmica e na teoria da informação.

No artigo revolucionário e inovador de Shannon, cujo trabalho foi substancialmente concluído nos Laboratórios Bell no final de 1944, Shannon introduziu pela primeira vez o modelo qualitativo e quantitativo de comunicação como um processo estatístico subjacente à informação teoria, abrindo com a afirmação:

"O problema fundamental da comunicação é o de reproduzir em um ponto, exatamente ou aproximadamente, uma mensagem selecionada em outro ponto."

Com ela vieram as ideias de

• a entropia de informação e redundância de uma fonte, e sua relevância através do teorema de codificação de origem;
• a informação mútua, e a capacidade de canal de um canal ruidoso, incluindo a promessa de comunicação perfeita sem perdas dada pelo teorema de codificação de canal ruidoso;
• o resultado prático da lei Shannon-Hartley para a capacidade de canal de um canal gaussiano; bem como
• o bit - uma nova maneira de ver a unidade mais fundamental da informação.

Quantidades de informação

A teoria da informação é baseada na teoria da probabilidade e na estatística, onde a informação quantificada é geralmente descrita em termos de bits. A teoria da informação frequentemente se preocupa com medidas de informação das distribuições associadas a variáveis aleatórias. Uma das medidas mais importantes é chamada de entropia, que forma o bloco de construção de muitas outras medidas. A entropia permite a quantificação da medida da informação em uma única variável aleatória. Outro conceito útil é a informação mútua definida em duas variáveis aleatórias, que descreve a medida da informação em comum entre essas variáveis, que pode ser usada para descrever sua correlação. A primeira quantidade é uma propriedade da distribuição de probabilidade de uma variável aleatória e fornece um limite na taxa na qual os dados gerados por amostras independentes com a distribuição dada podem ser comprimidos de forma confiável. O último é uma propriedade da distribuição conjunta de duas variáveis aleatórias e é a taxa máxima de comunicação confiável em um canal ruidoso no limite de comprimentos de bloco longos, quando as estatísticas do canal são determinadas pela distribuição conjunta.

A escolha da base logarítmica nas fórmulas a seguir determina a unidade de entropia de informação que é usada. Uma unidade comum de informação é o bit, baseado no logaritmo binário. Outras unidades incluem o nat, que se baseia no logaritmo natural, e o dígito decimal, que se baseia no logaritmo comum.

No que se segue, uma expressão da forma p log p é considerado por convenção para ser igual a zero sempre que p = 0. Isso é justificado porque Limpar.p→ → 0+plog⁡ ⁡ p= = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = =0{displaystyle lim _{prightarrow 0+}plog p=0} para qualquer base logarítmica.

Entropia de uma fonte de informação

Com base na função de massa de probabilidade de cada símbolo de origem a ser comunicado, a entropia de Shannon H, em unidades de bits (por símbolo), É dado por

H. H. H.= = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = =- Sim. - Sim. Gerenciamento Gerenciamento Eu...pEu...log2⁡ ⁡ (pEu...)Não. H=-sum _{i}p_{i}log _{2}(p_{i})}

onde p_i é a probabilidade de ocorrência do i-ésimo valor possível do símbolo de origem. Esta equação dá a entropia nas unidades de "bits" (por símbolo) porque usa um logaritmo de base 2, e essa medida de entropia de base 2 às vezes é chamada de shannon em sua homenagem. A entropia também é comumente calculada usando o logaritmo natural (base e, onde e é o número de Euler), que produz uma medida de entropia em nats por símbolo e às vezes simplifica a análise evitando a necessidade de incluir constantes extras nas fórmulas. Outras bases também são possíveis, mas menos comumente usadas. Por exemplo, um logaritmo de base 2⁸ = 256 produzirá uma medição em bytes por símbolo, e um logaritmo de base 10 produzirá uma medição em dígitos decimais (ou hartleys) por símbolo.

Intuitivamente, a entropia H_X de uma variável aleatória discreta X é uma medida da quantidade de incerteza associada ao valor de X quando apenas sua distribuição é conhecida.

A entropia de uma fonte que emite uma sequência de N símbolos independentes e identicamente distribuídos (iid) é N ⋅ H bits (por mensagem de N símbolos). Se os símbolos de dados de origem forem distribuídos de forma idêntica, mas não independentes, a entropia de uma mensagem de comprimento N será menor que N ⋅ H.

A entropia de um julgamento de Bernoulli como uma função de probabilidade de sucesso, muitas vezes chamado de função de entropia binária, H. H. H._b)(p). A entropia é maximizada em 1 bit por teste quando os dois resultados possíveis são igualmente prováveis, como em um toss moeda imparcial.

Se alguém transmite 1000 bits (0s e 1s), e o valor de cada um desses bits é conhecido pelo receptor (tem um valor específico com certeza) à frente da transmissão, é claro que nenhuma informação é transmitida. Se, no entanto, cada bit é independentemente igualmente provável ser 0 ou 1, 1000 shannons de informação (mais frequentemente chamados bits) foram transmitidos. Entre estes dois extremos, a informação pode ser quantificada da seguinte forma. Se X{displaystyle mathbb Não. é o conjunto de todas as mensagens (x₁, x_n? que X poderia ser, e p(x) é a probabilidade de alguns x∈ ∈ X{displaystyle xin mathbb Não., então a entropia, H. H. H.de X é definido:

H. H. H.(X)= = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = =EXNão.Eu...(x)]= = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = =- Sim. - Sim. Gerenciamento Gerenciamento x∈ ∈ Xp(x)log⁡ ⁡ p(x).{displaystyle H(X)=mathbb {E} _{X}[I(x)]=-sum _{xin mathbb {X} }p(x)log p(x). ?

(Aqui, Eu...(x) é a auto-informação, que é a contribuição entropia de uma mensagem individual, e EX{displaystyle mathbb {E} _{X}} é o valor esperado.) Uma propriedade de entropia é que ele é maximizado quando todas as mensagens no espaço da mensagem são equiprobable p(x) = 1/n; ou seja, mais imprevisível, nesse caso H. H. H.(X) = log n.

O caso especial de entropia de informação para uma variável aleatória com dois resultados é a função de entropia binária, normalmente levada à base logarítmica 2, tendo assim o shannon (Sh) como unidade:

H. H. H.b)(p)= = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = =- Sim. - Sim. plog2⁡ ⁡ p- Sim. - Sim. (1- Sim. - Sim. p)log2⁡ ⁡ (1- Sim. - Sim. p).Não. H_{mathrm {b} }(p)=-plog _{2}p-(1-p)log _{2}(1-p). ?

Entropia conjunta

A entropia conjunta de duas variáveis aleatórias discretas X e Y é apenas a entropia de seu emparelhamento: (X, Y). Isso implica que, se X e Y são independentes, então seus entropia conjunta é a soma de suas entropias individuais.

Por exemplo, se (X, Y) representa a posição de uma peça de xadrez—X a linha e Y a coluna, então a entropia conjunta da linha de a peça e a coluna da peça será a entropia da posição da peça.

H. H. H.(X,Y)= = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = =EX,YNão.- Sim. - Sim. log⁡ ⁡ p(x,Sim.)]= = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = =- Sim. - Sim. Gerenciamento Gerenciamento x,Sim.p(x,Sim.)log⁡ ⁡ p(x,Sim.){displaystyle H(X,Y)=mathbb {E} _{X,Y}[-log p(x,y)]=-sum _{x,y}p(x,y)log p(x,y),}

Apesar da notação semelhante, entropia conjunta não deve ser confundida com entropia cruzada.

Entropia condicional (equivocação)

A entropia condicional ou incerteza condicional de X dada a variável aleatória Y (também chamado de equivocação de X sobre Y) é a entropia condicional média sobre Y:

H. H. H.(X|Y)= = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = =EYNão.H. H. H.(X|Sim.)]= = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = =- Sim. - Sim. Gerenciamento Gerenciamento Sim.∈ ∈ Yp(Sim.)Gerenciamento Gerenciamento x∈ ∈ Xp(x|Sim.)log⁡ ⁡ p(x|Sim.)= = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = =- Sim. - Sim. Gerenciamento Gerenciamento x,Sim.p(x,Sim.)log⁡ ⁡ p(x|Sim.).{displaystyle H(X|Y)=mathbb {E} _{Y}[H(X|y)]=-sum _{yin Y}p(y)sum _{xin X}p(x|y)log p(x|y)=-sum _{x,y}p(x,y)log p(x|y). ?

Como a entropia pode ser condicionada a uma variável aleatória ou a essa variável aleatória ser um determinado valor, deve-se tomar cuidado para não confundir essas duas definições de entropia condicional, a primeira das quais é de uso mais comum. Uma propriedade básica desta forma de entropia condicional é que:

H. H. H.(X|Y)= = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = =H. H. H.(X,Y)- Sim. - Sim. H. H. H.(Y).{displaystyle H(X|Y)=H(X,Y)-H(Y).,}

Informação mútua (transinformação)

Informação mútua mede a quantidade de informação que pode ser obtida sobre uma variável aleatória observando outra. É importante na comunicação onde pode ser usado para maximizar a quantidade de informação compartilhada entre os sinais enviados e recebidos. A informação mútua de X relativa a Y é dada por:

Eu...(X;Y)= = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = =EX,YNão.SEu...(x,Sim.)]= = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = =Gerenciamento Gerenciamento x,Sim.p(x,Sim.)log⁡ ⁡ p(x,Sim.)p(x)p(Sim.){displaystyle I(X;Y)=mathbb {E} _{X,Y}[SI(x,y)]=sum _{x,y}p(x,y)log {frac {p(x,y)}{p(x),p(y)}}}

onde SI (Sinformação mútua específica) é a informação mútua pontual.

Uma propriedade básica da informação mútua é que

Eu...(X;Y)= = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = =H. H. H.(X)- Sim. - Sim. H. H. H.(X|Y).{displaystyle I(X;Y)=H(X)-H(X|Y).,}

Ou seja, conhecendo Y, podemos economizar em média I(X; Y) bits na codificação X em comparação com não saber Y.

A informação mútua é simétrica:

Eu...(X;Y)= = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = =Eu...(Y;X)= = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = =H. H. H.(X)+H. H. H.(Y)- Sim. - Sim. H. H. H.(X,Y).{displaystyle I(X;Y)=I(Y;X)=H(X)+H(Y)-H(X,Y).,}

A informação mútua pode ser expressa como a divergência média de Kullback–Leibler (ganho de informação) entre a distribuição de probabilidade posterior de X dado o valor de Y e a distribuição anterior em X:

Eu...(X;Y)= = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = =Ep(Sim.)Não.DKKL(p(X|Y= = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = =Sim.)‖ ‖ p(X))].(X;Y)=mathbb {E} _{p(y)}[D_{mathrm {KL} }(p(X|Y=y)|p(X)].}

Em outras palavras, esta é uma medida de quanto, em média, a distribuição de probabilidade em X mudará se recebermos o valor de Y. Isso geralmente é recalculado como a divergência do produto das distribuições marginais para a distribuição conjunta real:

Eu...(X;Y)= = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = =DKKL(p(X,Y)‖ ‖ p(X)p(Y)).{displaystyle I(X;Y)=D_{mathrm {KL} }(p(X,Y)|p(X)p(Y)). ?

A informação mútua está intimamente relacionada com o teste da razão de verossimilhança no contexto das tabelas de contingência e da distribuição multinomial e com o teste χ2 de Pearson: a informação mútua pode ser considerada uma estatística para avaliar a independência entre um par de variáveis, e tem uma distribuição assintótica bem especificada.

Divergência de Kullback–Leibler (ganho de informação)

O Kullback – divergência de nível (ou divergência de informação, ganho de informaçãoou entropia relativa) é uma maneira de comparar duas distribuições: uma distribuição de probabilidade "verdadeira" p(X)(X)}, e uma distribuição de probabilidade arbitrária q(X)(X)}. Se comprimirmos dados de uma forma que assuma q(X)(X)} é a distribuição subjacente a alguns dados, quando, na realidade, p(X)(X)} é a distribuição correta, a divergência Kullback-Leibler é o número de bits adicionais médios por dado necessário para compressão. É assim definido

DKKL(p(X)‖ ‖ q(X))= = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = =Gerenciamento Gerenciamento x∈ ∈ X- Sim. - Sim. p(x)log⁡ ⁡ q(x)- Sim. - Sim. Gerenciamento Gerenciamento x∈ ∈ X- Sim. - Sim. p(x)log⁡ ⁡ p(x)= = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = =Gerenciamento Gerenciamento x∈ ∈ Xp(x)log⁡ ⁡ p(x)q(x).{displaystyle D_{mathrm {KL} }(p(X)|q(X))=sum _{xin X}-p(x)log {q(x)},-,sum _{xin X}-p(x)log {p(x)}=sum _{xin X}p(x)log(x}

Embora às vezes seja usado como uma 'métrica de distância', a divergência KL não é uma métrica verdadeira, pois não é simétrica e não satisfaz a desigualdade triangular (tornando-a semi-quasimétrica).

Outra interpretação da divergência KL é a "surpresa desnecessária" introduzida por um anterior da verdade: suponha um número X está prestes a ser desenhado aleatoriamente de um conjunto discreto com distribuição de probabilidade p(x)(x)}. Se Alice sabe a verdadeira distribuição p(x)(x)}, enquanto Bob acredita (tem um prior) que a distribuição é q(x)(x)}, então Bob será mais surpreso do que Alice, em média, ao ver o valor de X. A divergência KL é o valor (objetivo) esperado de Bob (subjetivo) surprisal minus Alice's surprisal, medido em bits se o log está na base 2. Desta forma, a medida em que o prior de Bob é "errado" pode ser quantificada em termos de como "desnecessariamente surpreendido" espera-se fazê-lo.

Informações direcionadas

InformaçÃμes direcionadas, Eu...(Xn→ → Yn)(X^{n}to Y^{n})}, é uma medida da teoria da informação que quantifica o fluxo da informação do processo aleatório Xn= = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = =(X1,X2,...... ,Xn?Não. X^{n}={X_{1},X_{2},dots X_{n}}} ao processo aleatório Yn= = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = =(Y1,Y2,...... ,Yn?Não. Y^{n}={Y_{1},Y_{2},dotsY_{n}}}. O termo informação direcionada foi cunhado por James Massey e é definido como

Eu...(Xn→ → Yn)≜ ≜ Gerenciamento Gerenciamento Eu...= = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = =1nEu...(XEu...;YEu...|YEu...- Sim. - Sim. 1){displaystyle I(X^{n}to Y^{n})triangleq sum _{i=1}^{n}I(X^{i};Y_{i}|Y^{i-1})},

Onde? Eu...(XEu...;YEu...|YEu...- Sim. - Sim. 1)(X^{i};Y_{i}|Y^{i-1})} é a informação mútua condicional Eu...(X1,X2,...,XEu...;YEu...|Y1,Y2,...,YEu...- Sim. - Sim. 1){displaystyle I(X_{1},X_{2},..., X_{i};Y_{i}|Y_{1},Y_{2},...,Y_{i-1})}.

Em contraste com mútua informação, Dirigido a informação não é simétrica. O Eu...(Xn→ → Yn)(X^{n}to Y^{n})} mede os bits de informação que são transmitidos causalmente^{[definição da transmissão causal?]} a partir de XnNão. X^{n}} para YnNão. Y^{n}}. A informação direcionada tem muitas aplicações em problemas onde a causalidade desempenha um papel importante, como a capacidade de canal com feedback, a capacidade de redes sem memória discretas com feedback, o jogo com informações do lado causal, a compressão com informações do lado causal, e em ambientes de comunicação de controle em tempo real, física estatística.

Outras quantidades

Outras quantidades teóricas de informação importantes incluem entropia de Rényi (uma generalização da entropia), entropia diferencial (uma generalização de quantidades de informação para distribuições contínuas) e a informação mútua condicional.

Teoria da codificação

Uma imagem mostrando arranhões na superfície legível de um CD-R. Os CDs de música e dados são codificados usando códigos de correção de erros e, portanto, ainda podem ser lidos mesmo que tenham arranhões menores usando detecção e correção de erros.

A teoria da codificação é uma das aplicações mais importantes e diretas da teoria da informação. Pode ser subdividida em teoria de codificação de fonte e teoria de codificação de canal. Usando uma descrição estatística para dados, a teoria da informação quantifica o número de bits necessários para descrever os dados, que é a entropia de informação da fonte.

• Compressão de dados (codificação de fontes): Existem duas formulações para o problema de compressão:
  • compressão de dados sem perdas: os dados devem ser reconstruídos exatamente;
  • compressão de dados defeituosos: aloca bits necessários para reconstruir os dados, dentro de um nível de fidelidade especificado medido por uma função de distorção. Este subconjunto da teoria da informação é chamado teoria da taxa-distorção.
• Códigos de correção de erros (código de canal): Embora a compressão de dados remova tanto redundância quanto possível, um código de correção de erros adiciona apenas o tipo certo de redundância (ou seja, correção de erro) necessária para transmitir os dados de forma eficiente e fiel através de um canal ruidoso.

Essa divisão da teoria da codificação em compressão e transmissão é justificada pelos teoremas de transmissão de informações, ou teoremas de separação de canais de origem que justificam o uso de bits como moeda universal para informações em muitos contextos. No entanto, esses teoremas são válidos apenas na situação em que um usuário transmissor deseja se comunicar com um usuário receptor. Em cenários com mais de um transmissor (o canal de acesso múltiplo), mais de um receptor (o canal de transmissão) ou intermediários "ajudantes" (o canal de retransmissão) ou redes mais gerais, a compressão seguida de transmissão pode não ser mais ideal.

Teoria da fonte

Qualquer processo que gere mensagens sucessivas pode ser considerado uma fonte de informação. Uma fonte sem memória é aquela em que cada mensagem é uma variável aleatória independente identicamente distribuída, enquanto as propriedades de ergodicidade e estacionariedade impõem restrições menos restritivas. Todas essas fontes são estocásticas. Esses termos são bem estudados por si mesmos fora da teoria da informação.

Taxa

A taxa de informação é a entropia média por símbolo. Para fontes sem memória, isso é apenas a entropia de cada símbolo, enquanto, no caso de um processo estocástico estacionário, é

R= = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = =Limpar.n→ → ∞ ∞ H. H. H.(Xn|Xn- Sim. - Sim. 1,Xn- Sim. - Sim. 2,Xn- Sim. - Sim. 3,...... );{displaystyle r=lim _{nto infty }H(X_{n}|X_{n-1},X_{n-2},X_{n-3},ldots);}

isto é, a entropia condicional de um símbolo dado todos os símbolos anteriores gerados. Para o caso mais geral de um processo que não é necessariamente estacionário, a taxa média é

R= = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = =Limpar.n→ → ∞ ∞ 1nH. H. H.(X1,X2,...... Xn);{displaystyle r=lim _{nto infty }{frac {1}{n}}H(X_{1},X_{2},dots X_{n});}

ou seja, o limite da entropia conjunta por símbolo. Para fontes estacionárias, essas duas expressões fornecem o mesmo resultado.

A taxa de informação é definida como

R= = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = =Limpar.n→ → ∞ ∞ 1nEu...(X1,X2,...... Xn;Y1,Y2,...... Yn);{displaystyle r=lim _{nto infty }{frac {1}{n}}I(X_{1},X_{2},dots X_{n};Y_{1},Y_{2},dots Y_{n});}

É comum na teoria da informação falar em "taxa" ou "entropia" de uma língua. Isso é apropriado, por exemplo, quando a fonte de informação é a prosa em inglês. A taxa de uma fonte de informação está relacionada à sua redundância e quão bem ela pode ser comprimida, o assunto da código fonte.

Capacidade do canal

As comunicações através de um canal são a principal motivação da teoria da informação. No entanto, os canais muitas vezes falham em produzir a reconstrução exata de um sinal; ruído, períodos de silêncio e outras formas de corrupção de sinal geralmente degradam a qualidade.

Considere o processo de comunicação em um canal discreto. Um modelo simples do processo é mostrado abaixo:

→MensagemWCodificadorfn→EncoDeDSequenceXnCanalp(Sim.|x)→ReceEu...veDSequenceYnDecodificadorgn→ES)Eu...mum)eDmeSSumgeW^ ^ {displaystyle {xrightarrow[{text{Message}}]{W}}{begin{array}{|c|c| }hline {text{Encoder}}f_{n}\hline end{array}}{xrightarrow[{mathrm {Encoded atop sequência} }]{X^{n}}}{begin{array}{|c| }hline {text{Channel}}p(y|x)\hline end{array}}{xrightarrow[{mathrm {Received atop sequência} }]{Y^{n}}}{begin{array}{|c| }hline {text{Decoder}}g_{n}\hline end{array}}{xrightarrow[{mathrm {Estimated atop message} }]

Aqui X representa o espaço de mensagens transmitidas, e Y o espaço de mensagens recebidas durante uma unidade de tempo em nosso canal. Seja p(y|x) a função de distribuição de probabilidade condicional de Y dado X. Consideraremos p(y|x) uma propriedade fixa inerente de nosso canal de comunicação (representando a natureza do ruído do nosso canal). Então a distribuição conjunta de X e Y é completamente determinada por nosso canal e por nossa escolha de f(x), a distribuição marginal de mensagens que escolhemos enviar pelo canal. Sob essas restrições, gostaríamos de maximizar a taxa de informação, ou o sinal, que podemos comunicar pelo canal. A medida apropriada para isso é a informação mútua, e esta informação mútua máxima é chamada de capacidade do canal e é dada por:

C= = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = =máx.fEu...(X;Y).{displaystyle C=max _{f}I(X;Y).!}

Esta capacidade tem a seguinte propriedade relacionada à comunicação na taxa de informação R (onde R é geralmente bits por símbolo). Para qualquer taxa de informação R < C e erro de codificação ε > 0, para N grande o suficiente, existe um código de comprimento N e taxa ≥ R e um algoritmo de decodificação, tal que a probabilidade máxima de erro de bloco é ≤ ε; ou seja, sempre é possível transmitir com erro de bloco arbitrariamente pequeno. Além disso, para qualquer taxa R > C, é impossível transmitir com erro de bloco arbitrariamente pequeno.

codificação de canal preocupa-se em encontrar códigos quase ideais que possam ser usados para transmitir dados em um canal ruidoso com um pequeno erro de codificação a uma taxa próxima à capacidade do canal.

Capacidade de modelos de canal específicos

• Um canal de comunicação analógico de tempo contínuo sujeito ao ruído gaussiano - veja o teorema de Shannon-Hartley.
• Um canal simétrico binário (BSC) com probabilidade crossover p é uma entrada binária, canal de saída binário que vira o bit de entrada com probabilidade p. O BSC tem uma capacidade de 1 - H. H. H._b)(p) bits por canal, onde H. H. H._b) é a função de entropia binária para o logaritm base-2:

• Um canal de apagamento binário (BEC) com probabilidade de apagamento p é uma entrada binária, canal de saída ternary. As saídas de canal possíveis são 0, 1, e um terceiro símbolo 'e' chamado um apagamento. O apagamento representa perda completa de informações sobre um bit de entrada. A capacidade do BEC é 1 - p bits por canal.

Canais com memória e informação direcionada

Na prática, muitos canais têm memória. Nomeadamente, a tempo Eu...Não. o canal é dado pela probabilidade condicional P(Sim.Eu...|xEu...,xEu...- Sim. - Sim. 1,xEu...- Sim. - Sim. 2,...,x1,Sim.Eu...- Sim. - Sim. 1,Sim.Eu...- Sim. - Sim. 2,...,Sim.1).Não. P(y_{i}|x_{i},x_{i-1},x_{i-2},...,x_{1},y_{i-1},y_{i-2},...,y_{1}).}. Muitas vezes é mais confortável usar a notação xEu...= = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = =(xEu...,xEu...- Sim. - Sim. 1,xEu...- Sim. - Sim. 2,...,x1){displaystyle x^{i}=(x_{i},x_{i-1},x_{i-2},...,x_{1})} e o canal se tornar P(Sim.Eu...|xEu...,Sim.Eu...- Sim. - Sim. 1).Não. P(y_{i}|x^{i},y^{i-1}). ?. Nesse caso, a capacidade é dada pela taxa de informação mútua quando não há feedback disponível e a taxa de informação direcionada no caso de haver feedback ou não (se não houver feedback, a informação direcionada é igual à informação mútua).

Aplicações a outros campos

Usos de inteligência e aplicações de sigilo

Os conceitos teóricos da informação se aplicam à criptografia e à criptoanálise. A unidade de informação de Turing, a proibição, foi usada no projeto Ultra, quebrando o código da máquina alemã Enigma e acelerando o fim da Segunda Guerra Mundial na Europa. O próprio Shannon definiu um conceito importante agora chamado de distância de unicidade. Com base na redundância do texto simples, ele tenta fornecer uma quantidade mínima de texto cifrado necessário para garantir a decifrabilidade única.

A teoria da informação nos leva a acreditar que é muito mais difícil guardar segredos do que pode parecer à primeira vista. Um ataque de força bruta pode quebrar sistemas baseados em algoritmos de chave assimétrica ou nos métodos mais comumente usados de algoritmos de chave simétrica (às vezes chamados de algoritmos de chave secreta), como cifras de bloco. A segurança de todos esses métodos atualmente vem da suposição de que nenhum ataque conhecido pode quebrá-los em um período de tempo prático.

A segurança teórica da informação refere-se a métodos como o one-time pad que não são vulneráveis a tais ataques de força bruta. Nesses casos, a informação mútua condicional positiva entre o texto simples e o texto cifrado (condicionada na chave) pode garantir a transmissão adequada, enquanto a informação mútua incondicional entre o texto simples e o texto cifrado permanece zero, resultando em comunicações absolutamente seguras. Em outras palavras, um bisbilhoteiro não seria capaz de melhorar sua adivinhação do texto simples obtendo conhecimento do texto cifrado, mas não da chave. No entanto, como em qualquer outro sistema criptográfico, deve-se ter cuidado para aplicar corretamente até mesmo métodos teoricamente seguros de informações; o projeto Venona foi capaz de quebrar os blocos de uso único da União Soviética devido à reutilização inadequada de material de chave.

Geração de números pseudoaleatórios

Geradores de números pseudo-aleatórios estão amplamente disponíveis em bibliotecas de linguagem de computador e programas de aplicativos. Eles são, quase universalmente, inadequados para uso criptográfico, pois não fogem da natureza determinística dos equipamentos e softwares de computador modernos. Uma classe de geradores de números aleatórios aprimorados é chamada de geradores de números pseudo-aleatórios criptograficamente seguros, mas mesmo eles requerem sementes aleatórias externas ao software para funcionar como pretendido. Estes podem ser obtidos através de extratores, se feitos com cuidado. A medida de aleatoriedade suficiente em extratores é min-entropia, um valor relacionado à entropia de Shannon através da entropia de Rényi; A entropia de Rényi também é usada na avaliação da aleatoriedade em sistemas criptográficos. Embora relacionadas, as distinções entre essas medidas significam que uma variável aleatória com alta entropia de Shannon não é necessariamente satisfatória para uso em um extrator e, portanto, para usos de criptografia.

Exploração sísmica

Uma das primeiras aplicações comerciais da teoria da informação foi no campo da exploração sísmica de petróleo. Os trabalhos neste campo permitiram retirar e separar o ruído indesejado do sinal sísmico desejado. A teoria da informação e o processamento de sinal digital oferecem uma grande melhoria de resolução e clareza de imagem em relação aos métodos analógicos anteriores.

Semiótica

Os semióticos Doede Nauta e Winfried Nöth consideraram Charles Sanders Peirce como tendo criado uma teoria da informação em seus trabalhos sobre semiótica. Nauta definiu a teoria da informação semiótica como o estudo dos "processos internos de codificação, filtragem e processamento de informações"

Conceitos da teoria da informação, como redundância e controle de código, foram usados por semióticos como Umberto Eco e Ferruccio Rossi-Landi para explicar a ideologia como uma forma de transmissão de mensagem pela qual uma classe social dominante emite sua mensagem usando signos que exibem um alto grau de redundância, de modo que apenas uma mensagem é decodificada entre uma seleção de concorrentes.

Organização do processo integrado de informações neurais

Métodos teóricos da informação quantitativa têm sido aplicados na ciência cognitiva para analisar a organização do processo integrado de informação neural no contexto do problema de ligação em neurociência cognitiva. Nesse contexto, uma medida teórica da informação, como clusters funcionais (modelo de agrupamento funcional de Gerald Edelman e Giulio Tononi e hipótese do núcleo dinâmico (DCH)) ou informações efetivas (teoria da informação integrada de Tononi (IIT) da consciência), é definido (com base em uma organização de processo reentrante, ou seja, a sincronização da atividade neurofisiológica entre grupos de populações neuronais), ou a medida da minimização de energia livre com base em métodos estatísticos (princípio de energia livre de Karl J. Friston (FEP), uma medida teórica da informação que afirma que toda mudança adaptativa em um sistema auto-organizado leva a uma minimização da energia livre, e a hipótese do cérebro bayesiano).

Aplicações diversas

A teoria da informação também tem aplicações em jogos de azar, buracos negros e bioinformática.