Entropía diferencial

La entropía diferencial (también conocida como entropía continua) es un concepto de la teoría de la información que comenzó como un intento de Claude Shannon de ampliar la idea de la entropía (Shannon). , una medida del promedio (sorpresa) de una variable aleatoria, a distribuciones de probabilidad continuas. Desafortunadamente, Shannon no derivó esta fórmula y simplemente asumió que era el análogo continuo correcto de la entropía discreta, pero no lo es. La versión continua real de la entropía discreta es la densidad límite de puntos discretos (LDDP). La entropía diferencial (descrita aquí) se encuentra comúnmente en la literatura, pero es un caso limitante del LDDP y uno que pierde su asociación fundamental con la entropía discreta.

En términos de teoría de la medida, la entropía diferencial de una medida de probabilidad es la entropía relativa negativa de esa medida a la medida de Lebesgue, donde esta última se trata como si fuera una medida de probabilidad, a pesar de no estar normalizada.

Definición

Vamos. ${\displaystyle X}$ ser una variable aleatoria con una función de densidad de probabilidad ${\displaystyle f}$ cuyo apoyo es un conjunto ${\displaystyle {\fnMithcal}}$. El diferencial entropía ${\displaystyle h(X)}$ o ${\displaystyle h(f)}$ se define como

Para las distribuciones de probabilidad que no tienen una expresión explícita de función de densidad, pero tienen una expresión explícita de función cuántil, ${\displaystyle Q(p)}$Entonces ${\displaystyle h(Q)}$ puede definirse en términos del derivado de ${\displaystyle Q(p)}$ i.e. la función de densidad cuántil ${\displaystyle Q'(p)}$ como

${\displaystyle h(Q)=\int ¿Qué?$.

Como con su analógico discreto, las unidades de entropía diferencial dependen de la base del logaritmo, que suele ser 2 (es decir, las unidades son bits). Ver unidades logarítmicas para logaritmos tomadas en diferentes bases. Los conceptos relacionados como entropía diferencial articular, condicional y entropía relativa se definen de manera similar. A diferencia del análogo discreto, la entropía diferencial tiene un offset que depende de las unidades utilizadas para medir ${\displaystyle X}$. Por ejemplo, la entropía diferencial de una cantidad medida en milímetros será log(1000) más de la misma cantidad medida en metros; una cantidad sin dimensiones tendrá entropía diferencial de log(1000) más que la misma cantidad dividida por 1000.

Uno debe tener cuidado en tratar de aplicar propiedades de entropía discreta a la entropía diferencial, ya que las funciones de densidad de probabilidad pueden ser superiores a 1. Por ejemplo, la distribución uniforme ${\displaystyle {\mathcal {U}(0,1/2)}$ tiene negativo entropía diferencial; es decir, es mejor ordenado que ${\displaystyle {\mathcal}(0,1)}$ como se muestra ahora

${\displaystyle \int _{0}{\frac {1}{2}-2\log(2)\,dx=-\log(2)\,}$

ser menos que el de ${\displaystyle {\mathcal}(0,1)}$ que tiene cero entropía diferencial. Así, la entropía diferencial no comparte todas las propiedades de la entropía discreta.

La información mutua continua ${\displaystyle I(X;Y)}$ tiene la distinción de conservar su significado fundamental como medida de información discreta, ya que en realidad es el límite de la información mutua discreta particiones de ${\displaystyle X}$ y ${\displaystyle Sí.$ como estas particiones se vuelven más finas y más finas. Por lo tanto es invariable bajo homeomorfismos no lineales (mapas continuas e invertibles únicas), incluyendo transformaciones lineales de ${\displaystyle X}$ y ${\displaystyle Sí.$, y aún representa la cantidad de información discreta que se puede transmitir a través de un canal que admite un espacio continuo de valores.

Para conocer el análogo directo de la entropía discreta extendida al espacio continuo, consulte densidad límite de puntos discretos.

Propiedades de la entropía diferencial

• Para densidades de probabilidad ${\displaystyle f}$ y ${\displaystyle g}$, la divergencia Kullback-Leibler ${\displaystyle D_{KL}(f\parallel g)}$ es mayor o igual a 0 con igualdad solamente si ${\displaystyle f=g}$ casi en todas partes. Del mismo modo, para dos variables aleatorias ${\displaystyle X}$ y ${\displaystyle Sí.$, ${\displaystyle I(X;Y)\geq 0}$ y ${\displaystyle h(X\mid Y)\leq h(X)}$ con igualdad si ${\displaystyle X}$ y ${\displaystyle Sí.$ son independientes.
• La regla de cadena para la entropía diferencial sostiene como en el caso discreto

${\displaystyle h(X_{1},\ldotsX_{n}=\sum ¿Por qué?$.

• La entropía diferencial es la traducción invariante, es decir, para una constante ${\displaystyle c}$.

${\displaystyle h(X+c)=h(X)}$

• La entropía diferencial es en general no invariante bajo mapas invertibles arbitrarios.

En particular, para una constante ${\displaystyle a}$

${\displaystyle h(aX)=h(X)+\log Silencioa$

Para una variable aleatoria valorada por vectores ${\displaystyle \mathbf {X}$ y una matriz invertible (cuadra) ${\displaystyle \mathbf {A}$

${\displaystyle h(\mathbf {A} \mathbf {X})=h(\mathbf {X})+\log \left(Prince\det \mathbf {A} Silencio\right)}$

• En general, para una transformación de un vector aleatorio a otro vector aleatorio con la misma dimensión ${\displaystyle \mathbf {Y} =m\left(\mathbf {X} \right)}$, las entropías correspondientes se relacionan a través

${\displaystyle h(\mathbf {Y})\leq h(\mathbf {X})+\int f(x)\log \left\vert {\frac {\partial m}{\partial x}\right\vert \,dx}$

Donde ${\displaystyle \left\vert {\frac {\partial m}{\partial x}\right\vert }$ es el Jacobiano de la transformación ${\displaystyle m}$. La desigualdad arriba se convierte en igualdad si la transformación es una bijeción. Además, cuando ${\displaystyle m}$ es una rotación rígida, traducción o combinación de ella, el determinante jacobio es siempre 1, y ${\displaystyle h(Y)=h(X)}$.

• Si un vector aleatorio ${\displaystyle X\in \mathbb {R}$ tiene cero y matriz de covariancia ${\displaystyle K}$, ${\displaystyle h(\mathbf {X})\leq {\frac {1}{2}\log(\det {2\pi eK})={\frac {1}}\log[2\pi e)^{n}\det {K}}}}}}}}} {\f}\fn}\f}\f}\f}\f}\f}\f}\f}\f}\f}\f}\f}\f}\f}\f}\f}\f}\f}\f}\f}\f}\f}\f}\f}\f}\f}\fn\f}\f}\f}\f}\f}\f}\f}\f}\f}\fn}\f}\fn\fn\fn\fn\fnh}\f}\fn}\fn\fn}\fnh}\fn\fn\f}\fn\fn}\f}\fn$ con igualdad si ${\displaystyle X}$ es conjuntamente gaussian (ver abajo).

Sin embargo, la entropía diferencial no tiene otras propiedades deseables:

• No es invariante bajo el cambio de variables, y por lo tanto es más útil con variables sin dimensiones.
• Puede ser negativo.

Una modificación de la entropía diferencial que aborda estos inconvenientes es la entropía de información relativa, también conocida como divergencia Kullback-Leibler, que incluye un factor de medida invariante (ver densidad límite de puntos discretos).

Maximización en la distribución normal

Teorema

Con una distribución normal, la entropía diferencial se maximiza para una varianza dada. Una variable aleatoria gaussiana tiene la entropía más grande entre todas las variables aleatorias de igual varianza o, alternativamente, la distribución de entropía máxima bajo restricciones de media y varianza es la gaussiana.

Prueba

Vamos. ${\displaystyle g(x)}$ ser un PDF Gaussiano con media μ y diferencia ${\displaystyle \sigma ^{2}$ y ${\displaystyle f(x)}$ un PDF arbitrario con la misma varianza. Puesto que la entropía diferencial es la traducción invariable podemos asumir que ${\displaystyle f(x)}$ tiene la misma media de ${\displaystyle \mu }$ como ${\displaystyle g(x)}$.

Considere la divergencia de Kullback-Leibler entre las dos distribuciones

${\fnMicrosoft Sans Serif} {\gnMicrosoft Sans Serif} {\gnMicrosoft Sans Serif} {\g}\gnMicrosoft Sans Serif} {\gnMicrosoft Sans Serif} {\g}\g}\g}\g}\g}\g\g]\nMicrosoft Sans Serif}$

Ahora tenga en cuenta que

${\displaystyle {\begin{aligned}\int _{-\infty }{\infty }f(x)\log(g(x))\,dx limit=\int _{-\infty }{\infty }f(x)\log \left({\frac {1}{\sqrt {2\c\cH00} \sigma ^{2}}}e^{-{\frac {(x-\mu)^{2}{2\sigma ^{2}}}}}}\right)\,dx\\\\bun] ¿Qué? {1}{\sqrt {2\c\cH00} {\fnMicrosoft Sans Serif} {2} {2}\c\c\cH0}}}\c\c\c\c\c}\c\c\c}\c\c\cH0} {\c\c\cH0}\c\c\c\c\cH00}\c\c\cH00}\c\c\cH0}\c\c\c\c\c\c\cH0\c\c\c\c\c\c\c\c\c\c\c\c\c\cH00}\c\cH00\c\c\c\c\c\cH00}\cH00}\c\c\c\c\cH00}\c\cH00}\cH00}\c\c\c\c\c\c\c\c\cH00}\cH00}\c\cH00}\c\cH00}\c\cH00\c\c\cH00}\c\c\c {1}{2}}\left(\log(2\pi\sigma ^{2})+\log(e)\right)\\\\\\fnunci=-{\tfrac {1}{2}\log(2\pi e\sigma ^{2})\\\\\\cH(g)\end{aligned}}}}}}}}}}}}}}}}}}}}}} {}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}} {\c\c\c\c\c\c\c\c\c\c\c\c\c\c\c\c\c\c\c\c\c\c\c\c\c\c\c\c\c\c\c\c\c\c\c\c\c\c\c$

porque el resultado no depende de ${\displaystyle f(x)}$ aparte de la varianza. Combinando los dos resultados

${\displaystyle h(g)-h(f)\geq 0\!}$

con igualdad cuando ${\displaystyle f(x)=g(x)}$ siguiendo las propiedades de la divergencia Kullback-Leibler.

Prueba alternativa

Este resultado también se puede demostrar mediante el cálculo de variaciones. Una función lagrangiana con dos multiplicadores lagrangianos se puede definir como:

${\fnMicrosoft Sans Serif} {\fnMicrosoft Sans Serif} {\fnMicrosoft Sans Serif} {\fn} {\fnMicrosoft Sans Serif} {\fnMicrosoft Sans Serif} {\fnMicrosoft Sans Serif}$

Donde g(x) es una función con media μ. Cuando la entropía de g(x) está en un máximo y las ecuaciones de restricción, que consisten en la condición de normalización ${\displaystyle \left(1=\int _{-\infty }{\infty }g(x)\,dx\right)}$ y el requisito de la varianza fija ${\displaystyle \left(\sigma ^{2}=\int _{-\infty }{\infty }g(x)(x-\mu)^{2}\,dx\right)}$, ambos están satisfechos, luego una pequeña variación δg()xsobre g()x) producirá una variación δL sobre L que es igual a cero:

${\displaystyle 0=\delta L=\int _{-\infty }\infty }\delta g(x)\left(\ln(g(x)))+1+\lambda ¿Por qué?$

Dado que esto debe ser válido para cualquier δg(x) pequeño, el término entre paréntesis debe ser cero y resolver para g(x) produce:

${\displaystyle g(x)=e^{-\lambda ¿Qué?$

Usando las ecuaciones de restricción para resolver λ₀ y λ se obtiene la distribución normal:

${\displaystyle g(x)={\frac {1}{\sqrt {2\pi\sigma ^{2}}}e^{-{\frac {(x-\mu)^{2}{2\sigma ^{2}}}}}}$

Ejemplo: Distribución exponencial

Vamos. ${\displaystyle X}$ ser una variable aleatoria distribuida exponencialmente con parámetro ${\displaystyle \lambda }$, es decir, con función de densidad de probabilidad

${\displaystyle f(x)=\lambda e^{-\lambda x}{\mbox{ for }x\geq 0.}$

Su entropía diferencial es entonces

${\displaystyle h_{e}(X)\,}$	${\displaystyle =-\int _{0}{\infty }\lambda e^{-\lambda x}\log(\lambda e^{-\lambda x})\,dx}$
	${\displaystyle =-\left(\int _{0}{\infty }(\log \lambda)\lambda e^{-\lambda x}\,dx+\int _{0}{\infty }(-\lambda x)\lambda e^{-\lambda x}\,dx\right)}}$
	${\displaystyle =-\log \lambda \int _{0}{\infty }f(x)\,dx+\lambda E[X]}$
	${\displaystyle =-\log \lambda +1\,}$

Aquí, ${\displaystyle h_{e}(X)}$ era usado en lugar de ${\displaystyle h(X)}$ para hacerlo explícito que el logaritmo fue llevado a la base ePara simplificar el cálculo.

Relación con el error del estimador

La entropía diferencial produce un límite inferior en el error cuadrado esperado de un estimador. Para cualquier variable aleatoria ${\displaystyle X}$ y estimación ${\displaystyle {\widehat {X}}}$ las siguientes bodegas:

${\displaystyle \operatorname {E} [X-{\widehat {X}})} {2}\gq {\frac {1} {2\pi e}e^{2h(X)}}}$

con igualdad si ${\displaystyle X}$ es una variable aleatoria gaissa y ${\displaystyle {\widehat {X}}}$ es la media de ${\displaystyle X}$.

Entropías diferenciales para varias distribuciones

En el cuadro siguiente ${\displaystyle \Gamma (x)=\int ¿Qué? }e^{-t}t^{x-1}dt}$ es la función gamma, ${\displaystyle \psi (x)={dx}\ln Gamma (x)={\frac {\Gamma '(x)}{\Gamma (x)}}}$ es la función digamma, ${\displaystyle B(p,q)={\frac {\Gamma (p)\Gamma (q)}{\Gamma (p+q)}}}}$ es la función beta, y γ_E Es la constante de Euler.

Tabla de entropías diferenciales

Nombre de distribución	Función de densidad de probabilidad (pdf)	Entropía diferencial en nats	Apoyo
Uniforme uniforme	${\displaystyle f(x)={\frac {1}{b-a}}$	${\displaystyle \ln(b-a)\,}$	${\displaystyle [a,b]\,}$
Normal	${\sqrt {2\pi\sigma ^{2}}}}\exp \left(-{\frac {\m-\mu)}{2}{2\sigma ^{2}}}}}\right)}}$	${\displaystyle \ln \left(\sigma {2\,\pi\,e}\right)}$	${\displaystyle (-\infty\infty)\,}$
Exponential	${\displaystyle f(x)=\lambda \exp \left(-\lambda x\right)}$	${\displaystyle 1-\ln \lambda \,}$	${\displaystyle [0,\infty]\,}$
Rayleigh	${\displaystyle f(x)={\frac {x}{\sigma ¿Qué?$	${\displaystyle 1+\ln {\fnMicroc {\sigma . {2}}+{\frac} {\gamma} ¿Qué?$	${\displaystyle [0,\infty]\,}$
Beta	${\displaystyle f(x)={\frac {x^{\alpha -1}(1-x)^{\beta - ¿Qué?$ para ${\displaystyle 0\leq x\leq 1}$	${\displaystyle \ln B(\alpha\beta)-(\alpha -1)[\psi (\alpha)-\psi (\alpha +\beta)]\,}$ ${\displaystyle -(\beta -1)[\psi (\beta)-\psi (\alpha +\beta)]\,}$	${\displaystyle [0,1]\,}$
Cauchy	${\displaystyle f(x)={\frac {\gamma} - ¿Qué? {1}{\gamma .$	${\displaystyle \ln(4\pi \gamma)\,}$	${\displaystyle (-\infty\infty)\,}$
Chi	${\displaystyle f(x)={2}{2^{k/2}\Gamma (k/2)}x^{k-1}\exp \left(-{\frac {x^{2}{2}}\right)}$	${\displaystyle \ln {\frac {\Gamma (k/2)}{\sqrt {2}-{\frac} {k-1}{2}\psi \left({\frac {k}{2}\right)+{\frac {k}{2}}$	${\displaystyle [0,\infty]\,}$
Chi-squared	${\displaystyle f(x)={\frac {1}{2^{k/2}\Gamma (k/2)}x^{\frac {k}{2}\!-\!1}\exp \left(-{\frac {x}\right)}$	${\displaystyle \ln 2\Gamma \left({\frac {k}{2}\right)-\left(1-{\frac {k}{2}\right)\psi \left({\frac {k}{2}\right)+{\frac {k}{2}}$	${\displaystyle [0,\infty]\,}$
Erlang	${\displaystyle f(x)={\frac {\lambda ^{k}{(k-1)}}x^{k-1}\exp(-\lambda x)}$	${\displaystyle (1-k)\psi (k)+\ln {\frac\Gamma (k)}{\lambda }+k}$	${\displaystyle [0,\infty]\,}$
F	${\displaystyle f(x)={\frac {n_{1}\frac} {\fn} {\fn} {\fn} {\fn}} {\fn\fn} {\fn} {\fn} {\fn}} {\fn}} {\fn\fn}} {\fn\fn}}} {\fn}} {\fn}}}} {\fn}}} {\fn}}}}} {\\\f}}}}}}}}}}}}\\\\\\\\\\\\\\\\\\\\\\\\\\\\fn}}}\\\\\\\\\\\\\\\\\\\\\fn}}}}}}}}}}}}}}}}}}}}}}}}}\\\\\\\\\\\\\fn}}}}}}}}}}}}}}}}}\\\\\\\\\\\\\\\\\\\\\\c}}} {\fn} {\fn} {\fnK}}} {\fn\fnh}} {\fn}}} {\fn}}} {\fn}}}} {\fn\fn}}}} {\fn\fn}}}}} {\fn\f}}}} {\fn\fn\f}}}}}}}}} {\f}}}}}}}}}}}}}}}}}}}}}} {\b}} {\f} {\f}}}}} {\f}}} {\f}}}}} {\f}}}}}}}}}} {\f}}}}}} {\f}}}}}}} {\b}}}} {\b}}} {\b}}}}}}}}}}} {\f}}}} {\b}} {\f}}}}}}}}}}}} {\b}}}}}}}}}} {n_{1}{2}} {\frac} {n_{2}{2}}}} {\frac}} {\fnK}}}}} {\fn}}} {\fn}} {\fn}}}}}}}}}} {\fn\fn\fn\fn}}}}}}} {\f}}}}}}}}} {\fn\fn\fn\f}}}}}}}}}}}}}}}}}}}}}}}}}}}} {\f}}}}} {\f}}}}}} {\f}}} {\f}}}}} {\f}}}}}}}}}}}}}}}}} {\f}} {\f}} {\f}}}}} {\f}}}}}}}}}}}}}} {\f} {\f}}} {\f}}} {\f}}}} {\f}}}}}}}}}}}}}}}}} {\fnMicroc} {n_{1}{2}}}}{(n_{2}+n_{1}x)^{\frac} {n_{1}+n2} {2}}}}$	${\displaystyle \ln {\frac B-left({\frac} {n_{1}{2}} {\frac} {n_{2}{2}\right)+\left(1-{\frac {n_{1}{2}\right)\psi \left({\frac {n_{1}{2}\right)-}$ ${\displaystyle \left(1+{\frac {n_{2}{2}}\right)\psi \left({\frac {n_{2}{2}\right)+{\frac {n_{1}+n_{2}}{2}\psi \left({\frac} {\fc}} {\c}} {\c}} {\c}}}}\c}\c}\c}\c\c\c\c\c\c}}\c\c\c}\c\c\cH0}\c\c}}\\c\c\c\c\c}\c}\c\c\c\c\c\c\c\c}\c\c\c}\\c\c\c\\\c\c\c\\\\c\\\\\c\c\\\\\\\\c\c\\\\\\\\c\\\\\\\\\\\\\\\c\c\c\\\c\c\\\\\\\\\\\\\\\\\\\\\\\c\\\\\\\\\\\\c\cH3\\\\\cH {n_{1}\!+\!n_{2}\right)}$	${\displaystyle [0,\infty]\,}$
Gamma	${\displaystyle f(x)={\frac {x^{k-1}\exp(-{\frac {x}{\theta }}}}{\theta ^{k}\ Gamma (k)}}}}$	${\displaystyle \ln(\theta \Gamma (k))+(1-k)\psi (k)+k\,}$	${\displaystyle [0,\infty]\,}$
Laplace	${\displaystyle f(x)={2b}\exp \left(-{\frac {Princex-\mu Silencio}{b}}\right)}$	${\displaystyle 1+\ln(2b)\,}$	${\displaystyle (-\infty\infty)\,}$
Logística	${\displaystyle f(x)={\frac {\fnMicrosoft Sans} {\fnMicrosoft Sans}}}}$	${\displaystyle \ln s+2\,}$	${\displaystyle (-\infty\infty)\,}$
Normal	${\displaystyle f(x)={\sigma x{\sqrt {2\fn x-\mu)}{2\sigma ^{2}}}}}}}}}}$	${\displaystyle \mu +{2}\ln(2\pi e\sigma ^{2}}$	${\displaystyle [0,\infty]\,}$
Maxwell-Boltzmann	${\displaystyle f(x)={1}{a^{3}{\sqrt {\frac {2}{\pi} {\fn} {\fnK} {\f}}} {\fnK}}}} {\fnK}} {\f}}} {\fnK}}}}}} {\fn\f}}}}}}} {\f}}}}}}}}}}}}}}} {\f}\f}}}}}}}}}}} {\f} {\f} {\f}\f}}}}}}}}}}}}}\f}}}}}}}}}}}}}}}} {\f} {\f} {\f} {\f}} {\f}\f}}}\f}\f}\f}\f}\f}\f}}\f}\f}\f}\f}\f}\f}}\f}\f}\f}}}\fn }}\,x^{2}\exp\left(-{\frac {x^{2}{2a^{2}}}\right)}$	${\displaystyle \ln(a{\sqrt {2\pi})+\gamma ¿Qué? {1}{2}}}$	${\displaystyle [0,\infty]\,}$
Normal generalizado	${\displaystyle f(x)={\frac {2\beta ^{\frac {\fnMicrosoft} ¿Qué?$	${\displaystyle \ln {\frac #Gamma (\alpha /2)}{2\beta ^{\frac {1}{2}}}-{\frac} {\Alpha}{2}}\psi \left({\frac {\alpha }{2}\right)+{\frac {\alpha } {2}}$	${\displaystyle (-\infty\infty)\,}$
Pareto	${\displaystyle f(x)={\frac {\alpha x_{m}{\alpha }{x^{\alpha #$	${\displaystyle \ln {\frac {x_{m}{\alpha }+1+{\frac {1}{\alpha }$	${\displaystyle [x_{m},\infty)\,}$
Estudiante	${\displaystyle f(x)={\frac {(1+x^{2}/\nu)^{-{\frac {\nu {\fnK}} {\fn}}}}$	${\displaystyle {\frac} \!+\!1}{2}\left(\psi \left({\frac {\nu \!+\!1}{2}\right)\!-\!\psi \left({\frac {\nu }{2}\right)\right)\!+\!\ln\! Vale.$	${\displaystyle (-\infty\infty)\,}$
Triangular	${\fnMicrosoft Sans Serif} {\fnMicrosoft Sans Serif} {\fnMicrosoft Sans Serif} {\f} {\fnMicrosoft Sans Serif} {\fnMicrosoft Sans Serif} {\fnMicrosoft Sans Serif} {\fnMicrosoft Sans Serif} {\fnMicrosoft Sans Serif}}} {\f}\f} {\fnMicros}\fnMicros}\f}\f}\fnMicrosc\fnMicros}\fnMicros}\fnMicrob}\fnMicrosoft Sans}\fnMicros} {\fnMicros} {\fnMicros}\fnMicros}\fnMicros}\fnMicros}\fnMicros}\f}\fnMicrosoft}}\fnMicros}\fnMicros}\fnMicrosoft}\fnMicrosoft$	${\displaystyle {\frac}{2}+\ln} {\fnMicroc {b-a}{2}}$	${\displaystyle [a,b]\,}$
Weibull	${\displaystyle f(x)={\frac}{\lambda ¿Qué?$	${\displaystyle {\frac {(k-1)\gamma ¿Qué? }+1}$	${\displaystyle [0,\infty]\,}$
Normal multivariable	${\displaystyle f_{X} {\vec}=}$ ${\fnMicrosoft {\fnMicrosoft} {\fnMicrosoft} {\fnMicrosoft} {\fnK} {\f}}} {\fn}} {\fnMicrosoft} {\fnMicrosoft ]} {\cdot ({\vec {\f}} {\fnMicrosoft ]} {\f} {\f} {\f} {\f}\f} {\f}\f}\f}\f}\f}\f}\f}\f}\f}\f}\f}\f}\f} {\f}\fnMinMinMinMinMicrox}\f}\f}\f}\f}\f}\f}\f}\f}\fnun}\f}\f} {\f}\f}\f}\f}\f}\fnun}\fnMinK\fnK\f}\f}\f}\f}\f}\f}\fnMi$	${\displaystyle {\frac {1}\ln\{(2\pi e)}\det(\Sigma)}}$	${\displaystyle \mathbb {R}$

Muchas de las entropías diferenciales son de.

Variantes

Como se describió anteriormente, la entropía diferencial no comparte todas las propiedades de la entropía discreta. Por ejemplo, la entropía diferencial puede ser negativa; Además, no es invariante bajo transformaciones de coordenadas continuas. Edwin Thompson Jaynes demostró de hecho que la expresión anterior no es el límite correcto de la expresión para un conjunto finito de probabilidades.

Una modificación de la entropía diferencial añade un factor de medida invariante para corregir esto (ver densidad de limitación de puntos discretos). Si ${\displaystyle m(x)}$ se limita además a ser una densidad de probabilidad, la noción resultante se llama entropía relativa en la teoría de la información:

${\displaystyle D(p\parallel m)=\int p(x)\log {\frac {p(x)}{m(x)}}\,dx.}$

La definición de entropía diferencial arriba se puede obtener partiendo el rango de ${\displaystyle X}$ en contenedores de longitud ${\displaystyle h}$ con puntos de muestra asociados ${\displaystyle ih}$ dentro de los contenedores, para ${\displaystyle X}$ Riemann integrado. Esto da una versión cuantificada ${\displaystyle X}$, definida por ${\displaystyle X_{h}=ih}$ si ${\displaystyle ih\leq X\leq (i+1)h}$. Entonces la entropía de ${\displaystyle X_{h}=ih}$ es

${\displaystyle H_{h}=-\sum _{i}hf(ih)\log(f(ih)))-\sum hf(ih)\log(h). }$

El primer término en la derecha aproxima la entropía diferencial, mientras que el segundo término es aproximadamente ${\displaystyle -\log(h)}$. Tenga en cuenta que este procedimiento sugiere que la entropía en el sentido discreto de una variable aleatoria continua debe ser ${\displaystyle \infty }$.