Medición de la información en la teoría de la probabilidad y la información
Un diagrama de Venn engañoso que muestra relaciones aditivas y subtractivas entre diversas medidas de información asociadas con variables correlativas X y Y. El área contenida por ambos círculos es la entropía conjunta H(X,Y). El círculo a la izquierda (rojo y violeta) es la entropía individual H(X), siendo el rojo la entropía condicional H(X habitY). El círculo a la derecha (azul y violeta) es H(Y), siendo el azul H(Y eternaX). El violeta es la información mutua I(X;Y).
En teoría de la información, la entropía conjunta es una medida de la incertidumbre asociada con un conjunto de variables.
Definición
La entropía conjunta Shannon (en bits) de dos variables discretas al azar y con imágenes y se define como
()Eq.1)
Donde y son valores particulares y , respectivamente, es la probabilidad conjunta de que estos valores ocurran juntos, y se define a ser 0 si .
Para más de dos variables aleatorias esto se expande a
()Eq.2)
Donde son valores particulares , respectivamente, es la probabilidad de que estos valores ocurran juntos, y se define a ser 0 si .
Propiedades
No negatividad
La entropía conjunta de un conjunto de variables aleatorias es un número no negativo.
Entropías mayores que las individuales
La entropía conjunta de un conjunto de variables es mayor o igual al máximo de todas las entropías individuales de las variables en el conjunto.
Menor o igual a la suma de entropías individuales
La entropía conjunta de un conjunto de variables es inferior o igual a la suma de las entropías individuales de las variables en el conjunto. Este es un ejemplo de subadditividad. Esta desigualdad es una igualdad si y sólo si y son estadísticamente independientes.
Relaciones con otras medidas de entropía
La entropía conjunta se utiliza en la definición de entropía condicional.
,
y
En la teoría de la información cuántica, la entropía articular se generaliza en la entropía cuántica conjunta.
Entropía diferencial conjunta
Definición
La definición anterior es para variables discretas al azar y tan válidas en el caso de variables continuas al azar. La versión continua de la entropía articular discreta se llama entropía diferencial (o continua). Vamos. y ser una variable aleatoria continua con una función de densidad de probabilidad articular . La entropía articular diferencial se define como
()Eq.3)
Para más de dos variables aleatorias continuas la definición se generaliza para:
()Eq.4)
La integral se hace cargo del apoyo de . Es posible que la integral no exista en cuyo caso decimos que la entropía diferencial no se define.
Propiedades
Como en el caso discreto, la entropía diferencial conjunta de un conjunto de variables aleatorias es menor o igual que la suma de las entropías de las variables aleatorias individuales:
La siguiente regla de cadena es válida para dos variables aleatorias:
En el caso de más de dos variables aleatorias, esto generaliza:
La entropía diferencial conjunta también se utiliza en la definición de la información mutua entre variables aleatorias continuas:
![{displaystyle mathrm {H} (X,Y)=-sum _{xin {mathcal {X}}}sum _{yin {mathcal {Y}}}P(x,y)log _{2}[P(x,y)]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/1c1b92b469840ecac93f75eff9beef3d03d6bbc1)
![P(x,y)log _{2}[P(x,y)]](https://wikimedia.org/api/rest_v1/media/math/render/svg/33023e90bccb1921379d4b2368ce7c89ee728254)
![{displaystyle mathrm {H} (X_{1},...,X_{n})=-sum _{x_{1}in {mathcal {X}}_{1}}...sum _{x_{n}in {mathcal {X}}_{n}}P(x_{1},...,x_{n})log _{2}[P(x_{1},...,x_{n})]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/453bf0f18adcd1b4160557f8e3be47f6202abd1d)
![P(x_{1},...,x_{n})log _{2}[P(x_{1},...,x_{n})]](https://wikimedia.org/api/rest_v1/media/math/render/svg/45d2b2bd535cc3d9c9e463415a4a81bf4eb6194c)
![{displaystyle mathrm {H} (X,Y)geq max left[mathrm {H} (X),mathrm {H} (Y)right]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/d8ef6202e31c5bf393a72c24d9972de4e24560f9)
