Divergencia Kullback-Leibler

En las estadísticas matemáticas, Kullback – Divergencia legible (también llamado relativa entropía y I-divergence), denotado ${displaystyle D_{text{KL} {parallel Q)}$, es un tipo de distancia estadística: una medida de cómo una distribución de probabilidad P es diferente de un segundo, distribución de probabilidad de referencia Q. Una simple interpretación de la divergencia KL P desde Q es el exceso esperado sorpresa de usar Q como modelo cuando la distribución real es P. Mientras que es una medida de lo diferentes dos distribuciones son, y en algún sentido es una "distancia", no es en realidad una métrica, que es el tipo más familiar y formal de distancia. En particular, no es simétrico en las dos distribuciones (en contraste con la variación de la información), y no satisface la desigualdad del triángulo. En cambio, en términos de geometría de información, es un tipo de divergencia, una generalización de distancia cuadrada, y para ciertas clases de distribuciones (en particular una familia exponencial), satisface un teorema pitagórico generalizado (que se aplica a distancias cuadradas).

En el caso simple, una entropía relativa de 0 indica que las dos distribuciones en cuestión tienen cantidades idénticas de información. La entropía relativa es una función no negativa de dos distribuciones o medidas. Tiene diversas aplicaciones, tanto teóricas, como caracterizar la entropía relativa (Shannon) en sistemas de información, la aleatoriedad en series de tiempo continuas y la ganancia de información al comparar modelos estadísticos de inferencia; y prácticas, como estadística aplicada, mecánica de fluidos, neurociencia y bioinformática.

Introducción y contexto

Considere dos distribuciones de probabilidad P y Q. Por lo general, P representa los datos, las observaciones o una distribución de probabilidad medida. Distribución Q representa en su lugar una teoría, un modelo, una descripción o una aproximación P. La divergencia Kullback-Leibler ${displaystyle D_{text{KL} {parallel Q)}$ se interpreta entonces como la diferencia promedio del número de bits requeridos para las muestras de codificación de P usando un código optimizado para Q en lugar de uno optimizado para P. Note that the roles of P y Q se puede revertir en algunas situaciones en las que es más fácil calcular, como con el algoritmo de expectativa–maximización (EM) y las computaciones de menor límite (ELBO).

Etimología

La entropía relativa fue introducida por Solomon Kullback y Richard Leibler en Kullback & Leibler (1951) como "la información media para la discriminación entre ${displaystyle H_{1}$ y ${displaystyle H_{2}$ por observación ${displaystyle mu _{1}}$", donde se comparan dos medidas de probabilidad ${displaystyle mu _{1},mu _{2}$, y ${displaystyle H_{1},H_{2}$ son las hipótesis que uno está seleccionando de medida ${displaystyle mu _{1},mu _{2}$ (respectivamente). Denotó esto ${displaystyle I(1:2)}$, y definió la "divergencia" entre ${displaystyle mu _{1}}$ y ${displaystyle mu _{2}}$"como la cantidad simetrizada ${displaystyle J(1,2)=I(1:2)+I(2:1)}$, que ya había sido definido y utilizado por Harold Jeffreys en 1948. En Kullback (1959), la forma simetrizada se conoce de nuevo como la "divergencia", y las entropías relativas en cada dirección se denominan "divergencias dirigidas" entre dos distribuciones; Kullback prefirió el término discriminación. El término "divergencia" es en contraste con una distancia (métrica), ya que la divergencia simetrizada no satisface la desigualdad del triángulo. Numerosas referencias a los usos anteriores de la divergencia simetrizada y a otras distancias estadísticas se dan en Kullback (1959, pp. 6-7, §1.3 Divergence). La divergencia asimétrica "directa" ha llegado a ser conocida como la divergencia Kullback-Leibler, mientras que la "divergencia" simetrizada ahora se conoce como la Jeffreys divergencia.

Definición

Para distribuciones discretas de probabilidad P y Q definido en el mismo espacio de muestra, ${displaystyle {fnMitcal}}}$ la entropía relativa de Q a P se define como

${displaystyle D_{text{KL}}(Pparallel Q)=sum _{xin {mathcal {X}}}}P(x)log left({frac { P(x) }{Q(x)}right)}$

que es equivalente a

${displaystyle D_{text{KL}}(Pparallel Q)=-sum _{xin {mathcal {X}}}}P(x)log left({frac { Q(x) }{P(x)}}right)~}}$

En otras palabras, es la expectativa de la diferencia logarítmica entre las probabilidades P y Q, donde la expectativa se toma usando las probabilidades P.

La entropía relativa sólo se define de esta manera si, para todos x, ${displaystyle Q(x)=0}$ implicación ${displaystyle P(x)=0 }$ (continuidad absoluta). De lo contrario, a menudo se define como ${displaystyle +infty}$, pero el valor ${displaystyle +infty }$ es posible incluso si ${displaystyle Q(x)neq 0 }$ en todas partes, siempre que ${displaystyle {fnMitcal {}fn}$ es infinita en extensión. Los comentarios analógicos se aplican a los casos de medida continua y general definidos a continuación.

Siempre ${displaystyle P(x) }$ es cero la contribución del término correspondiente se interpreta como cero porque

${displaystyle lim _{xto 0^{+}xlog(x)=0~}$

Para distribuciones P y Q de una variable aleatoria continua, la entropía relativa se define como la integral

${displaystyle D_{text{KL}}(Pparallel Q)=int _{-infty }^{infty }p(x)log left({frac {p(x)}{q(x)}right)mathrm {d} !x}$

donde p y q< /span> denota las densidades de probabilidad de P y P.

Más generalmente, si P y Q son medidas de probabilidad en un espacio mensurable ${displaystyle {fnMitcal}}}$ y P es absolutamente continuo con respecto a Q, entonces la entropía relativa de Q a P se define como

${displaystyle D_{text{KL}}(Pparallel Q)=int _{xin {mathcal {X}}}log left({frac {P(mathrm {d} !x)}{Q(mathrm {d} !x)}}right) P(mathrmd}$

Donde ${displaystyle {frac {fnhm {d} !x) }{Q(mathrm {d} !x) }$ es el derivado Radon-Nikodym de P con respecto a Q, es decir, el único Q casi todas las funciones definidas r on ${displaystyle {fnMitcal {}fn}$ tales que ${displaystyle P(mathrm {d} !x)=r(x)Q(mathrm {d} !x) }$ que existe porque P es absolutamente continuo con respecto a Q. También suponemos que existe la expresión de la mano derecha. Equivalentemente (por la regla de la cadena), esto se puede escribir como

${displaystyle D_{text{KL}}(Pparallel Q)=int _{xin {mathcal {X}}}{frac {mathrm {d} !x)}{Q(mathrm {d} !x)}}}}\ log left({frac {P(mathrm {d} !x)}{Q(mathrm {d} !x)}right)right Q(mathrm {d} !x)}$

que es la entropía de P relativa a Q. Continuando en este caso, si ${displaystyle mu }$ es cualquier medida ${displaystyle {fnMitcal}}$ para los cuales las densidades p y q con ${displaystyle P(mathrm {d} !x)=p(x)mu (mathrm {d} !x) }$ y ${displaystyle Q(mathrm {d} !x)=q(x)mu (mathrm {d} !x) }$ existen (que significa que P y Q son ambos absolutamente continuos con respecto a ${displaystyle mu }$), entonces la entropía relativa de Q a P se da como

${displaystyle D_{text{KL}}(Pparallel Q)=int _{xin {mathcal {X}}}p(x)log left({frac { p(x) }{q(x)}right)mu (mathrm {d} !x)~}$

Note that such a measure ${displaystyle mu }$ para qué densidades se pueden definir siempre existe, ya que se puede tomar ${displaystyle mu ={2}left(P+Qright) }$ Aunque en la práctica será generalmente uno que en el contexto como la medida de conteo para distribuciones discretas, o la medida Lebesgue o una variante conveniente de ella como medida Gausiana o la medida uniforme en la esfera, medida Haar en un grupo Lie, etc. para distribuciones continuas. Los logaritmos en estas fórmulas se suelen tomar a base 2 si la información se mide en unidades de bits, o a base e si la información se mide en nats. La mayoría de las fórmulas que implican entropía relativa sostienen independientemente de la base del logaritmo.

Existen diversas convenciones para referirse a ${displaystyle D_{text{KL}(Pparallel Q)}$ en palabras. A menudo se conoce como la divergencia entre P y Q, pero esto no transmite la asimetría fundamental en la relación. A veces, como en este artículo, puede describirse como la divergencia de P desde Q o como la divergencia desde Q a P. Esto refleja la asimetría en la inferencia bayesiana, que comienza desde a prior Q y actualizaciones a el posterior P. Otra forma común de referirse a ${displaystyle D_{text{KL}(Pparallel Q)}$ es como la entropía relativa de P con respecto a Q o el beneficio de la información P sobre Q.

Ejemplo básico

Kullback da el siguiente ejemplo (Tabla 2.1, Ejemplo 2.1). Vamos. P y Q sean las distribuciones mostradas en la tabla y la figura. P es la distribución en el lado izquierdo de la figura, una distribución binomial con ${displaystyle N=2}$ y ${displaystyle p=0.4}$. Q es la distribución en el lado derecho de la figura, una distribución uniforme discreta con los tres resultados posibles ${displaystyle x=}$ 0, 1, 2 (es decir. ${displaystyle {mathcal {X}={0,1,2}}$), cada uno con probabilidad ${displaystyle p=1/3}$.

x	0	1	2
Distribución ${displaystyle P(x)}$	${displaystyle {frac {9}{25}}$	${displaystyle {frac {12}{25}}$	${displaystyle {frac {4}{25}}$
Distribución ${displaystyle Q(x)}$	${fnMicroc} {1}{3}}$	${fnMicroc} {1}{3}}$	${fnMicroc} {1}{3}}$

Entropias relativas ${displaystyle D_{text{KL} {parallel Q)}$ y ${displaystyle D_{text{KL}(Qparallel P)}$ se calculan como sigue. Este ejemplo utiliza el tronco natural con base e, designado In para obtener resultados en nats (ver unidades de información):

${displaystyle {begin{aligned}D_{text{KL}(Pparallel Q) Pulse=sum _{xin {mathcal {X}}}P(x)lnleft({frac {P(x)}{Q(x)}}}}right)\\\\fnMicroc}{f} {fn}}}}}fn}}}}fn}l}l}l}l}b}b}b}b}b}b}b}b}b}b}b}b}b}b}b}b}b}b}b}b}b}b}b}b}b9}fn}b}b}b}b9}b}b}b9}b9}b}b}b}}b}b {9/25}{1/3}right)+{frac {12}{25}ln left({frac {12/25}{1/3}right)+{frac {4}}ln left({frac {frac}{frac {4}}}}}}}lnlnlnlnlnnnnnfnnfnf} {fnfnfnfnfnfnfnfnfnc} {fnfnfnfnfnfnfnfnfnfnfnfnfnfnfnfnfnfnfnfnfnfnfnfnfnfnfnfnfnfnfnfnfnfnfnfn {4/25}{1/3}derecha)\\fnK {1}{25}left(32ln(2)+55ln(3)-50ln(5)right)approx 0.0852996,end{aligned}}$

${displaystyle {begin{aligned}D_{text{KL}(Qparallel P) Vine=sum _{xin {mathcal}Q(x)lnleft({frac {Q(x)}{P(x)}}}}right)\\\\\fnMicroc}{3} {l}l}l}l}l}l}l}l}l}l}l}l}l}l}l}l}l}l}l}b}b}b}b}b}b}b}b}b}b}b}b}b}b}b}b}b}b}b}b}b}b}b}b}b}b}b}b}b}b}b}b}b} {1/3}{9/25}}right)+{frac {1}{3}ln left({frac {frac}} {fn} {fn}}}lnlnlnfnfnfnfnfnfnfnfnK}fnfnK}fnK}}}fnfnfnKfnfnfn9} {fnfn9}fn}fnfn}fnfnKfn9}fn}fnK}fnKfn}fn9}fn}fn9}fn}fnnnnfnfn}fnfnfnfn}fnfnfn}fn}fnfn}fn}fnfnfn}fn} {1/3}{12/25}}right)+{frac {1}{3}ln left({frac} {frac} {fn} {fn}}}lnlnlnm} {fnfnfnfnK}}}fn2}} {fn}}}}fnf}}}}fn}}}}fnfnfn9}fnfnfn9} {fnfn}}fnfn9}fn9}}}fn9}}}fnfnfnfn9}fnfn9} {fnfnfnfnfnfnfnfnfnfnfnfnfnfnfnfnfnfnfnfnfnfnfn {1/3}{4/25}right)\\fnMicroc {1}{3}left(-4ln(2)-6ln(3)+6ln(5)right)approx 0.097455.end{aligned}}}$

Interpretaciones

Estadísticas

En el campo de las estadísticas, la lema Neyman-Pearson afirma que la forma más poderosa de distinguir entre las dos distribuciones P y Q basado en una observación Y (traído de uno de ellos) es a través del registro de la relación de sus probabilidades: ${displaystyle log P(Y)-log Q(Y)}$. La divergencia KL es el valor esperado de esta estadística si Y es realmente dibujado P. Kullback motivó la estadística como una relación de probabilidad de registro prevista.

Codificación

En el contexto de la teoría de la codificación, ${displaystyle D_{text{KL} {parallel Q)}$ se puede construir midiendo el número esperado de bits adicionales requeridos para las muestras de código de P usando un código optimizado para Q más que el código optimizado para P.

Inferencia

En el contexto del aprendizaje automático, ${displaystyle D_{text{KL} {parallel Q)}$ a menudo se llama el aumento de la información logrado si P se utilizaría en lugar de Q que se utiliza actualmente. Por analogía con la teoría de la información, se llama la relativa entropía de P con respecto a Q.

Expresado en el idioma de la inferencia bayesiana, ${displaystyle D_{text{KL} {parallel Q)}$ es una medida de la información obtenida mediante la revisión de sus creencias de la distribución de probabilidad previa Q a la distribución de probabilidad posterior P. En otras palabras, es la cantidad de información perdida cuando Q se utiliza para aproximar P.

Geometría de la información

En aplicaciones, P normalmente representa el valor "verdadero" distribución de datos, observaciones o una distribución teórica calculada con precisión, mientras que Q normalmente representa una teoría, modelo, descripción o aproximación de P. Para encontrar una distribución Q que sea más cercana a P, podemos minimizar la divergencia KL y calcular una proyección de información.

Aunque es una distancia estadística, no es una métrica, el tipo más familiar de distancia, sino que es una divergencia. Mientras que las métricas son simétricas y generalizadas linear distancia, satisfaciendo la desigualdad del triángulo, las divergencias son asimétricas y generalizadas cuadrados distancia, en algunos casos satisfaciendo un teorema pitagórico generalizado. En general ${displaystyle D_{text{KL} {parallel Q)}$ no es igual ${displaystyle D_{text{KL}(Qparallel P)}$y la asimetría es una parte importante de la geometría. La forma infinitesimal de entropía relativa, específicamente su hesiano, da un tensor métrico que iguala la métrica de información Fisher; vea § Fisher información métrica. Entropía relativa satisfice un teorema pitagórico generalizado para familias exponenciales (geométricamente interpretado como dobles planos), y esto permite minimizar la entropía relativa por medios geométricos, por ejemplo por proyección de información y en estimación de máxima probabilidad.

La entropía relativa es la divergencia de Bregman generada por la entropía negativa, pero también tiene la forma de una divergencia f. Para probabilidades sobre un alfabeto finito, es único por ser miembro de ambas clases de divergencias estadísticas.

Finanzas (teoría de juegos)

Considere un inversor que optimice el crecimiento en un juego limpio con resultados mutuamente excluyentes (por ejemplo, una “carrera de caballos” en la que las probabilidades oficiales suman uno). La tasa de rendimiento esperada por dicho inversor es igual a la entropía relativa entre las probabilidades que cree el inversor y las probabilidades oficiales. Éste es un caso especial de una conexión mucho más general entre los rendimientos financieros y las medidas de divergencia.

Los riesgos financieros están conectados ${displaystyle D_{text{KL}}$ vía geometría de información. Las opiniones de los inversores, la visión del mercado prevaleciente y los escenarios arriesgados forman triángulos en el conjunto relevante de distribuciones de probabilidad. La forma de los triángulos determina los principales riesgos financieros (tanto cualitativa como cuantitativamente). Por ejemplo, los triángulos obtusos en los que las opiniones de los inversores y los escenarios de riesgo aparecen en “lados opuestos” en relación con el mercado describen los riesgos negativos, los triángulos agudos describen la exposición positiva, y la situación de ángulo recto en el centro corresponde a cero riesgo.

Motivación

En teoría de la información, el teorema Kraft-McMillan establece que cualquier esquema de codificación directamente decodificable para codificación de un mensaje para identificar un valor ${displaystyle x_{i}}$ de un conjunto de posibilidades X puede ser visto como representa una distribución de probabilidad implícita ${displaystyle q(x_{i})=2^{-ell ¿Qué?$ sobre X, donde ${displaystyle ell _{i}$ es la longitud del código para ${displaystyle x_{i}}$ en pedazos. Por lo tanto, la entropía relativa puede ser interpretada como la longitud de mensaje adicional esperada por datum que debe ser comunicada si un código que es óptimo para una distribución dada (incorrecta) Q se utiliza, en comparación con el uso de un código basado en la distribución verdadera P: es el exceso Entropía.

${fnMicrosoft Sans Serif} {fnMicrosoft Sans Serif} {fnMicrosoft Sans Serif} {fnMicrosoft Sans Serif} {fnMicrosoft Sans Serif} {fnMicrosoft ] {} {fnMicrosoft ] {fnMicrosoft ] {fnMicrosoft ] {f} {f} {f} {f} {fnMicrom} {fnMicrom} {fnMicrom} {fnMicrom} {f} {fnMicrom} {fnMinMicrosoft}fnMicrosoft ]}fnMicrox}f} {fnMicrox}fnMicrosoft}fnMicrosoft} {fnMicrosoft}f} {fnMicrosoft}fnMicrosoft}fnMicrosoft}fnMicrox}fnMicrox}fnMicro$

Donde ${displaystyle mathrm {H} (P,Q)}$ es la entropía de la cruz P y Q, y ${displaystyle mathrm {H} (P)}$ es la entropía de P (que es lo mismo que la cruz-entropía de P con sí mismo).

La entropía relativa ${displaystyle D_{text{KL} {parallel Q)}$ puede ser pensado geométricamente como una distancia estadística, una medida de hasta qué punto la distribución Q es de la distribución P. Geométricamente es una divergencia: una forma asimétrica y generalizada de distancia cuadrada. El cross-entropy ${displaystyle H(P,Q)}$ es en sí misma una medición (formalmente una función de pérdida), pero no se puede pensar como una distancia, ya que ${displaystyle H(P,P)=:H(P)}$ no es cero. Esto se puede fijar mediante subcontratación ${displaystyle H(P)}$ para hacer ${displaystyle D_{text{KL} {parallel Q)}$ estar más de acuerdo con nuestra noción de distancia, como exceso pérdida. La función resultante es asimétrica, y aunque esto puede ser simetrizado (ver § Divergencia simetrizada), la forma asimétrica es más útil. Véase § Interpretaciones para más información sobre la interpretación geométrica.

La entropía relativa se relaciona con la "función de tasa" en la teoría de las grandes desviaciones.

Arthur Hobson demostró que la entropía relativa es la única medida de diferencia entre distribuciones de probabilidad que satisface algunas propiedades deseadas, que son la extensión canónica de aquellas que aparecen en una caracterización de entropía comúnmente utilizada. En consecuencia, la información mutua es la única medida de dependencia mutua que obedece a ciertas condiciones relacionadas, ya que puede definirse en términos de divergencia Kullback-Leibler.

Propiedades

• Entropía relativa es siempre no negativo,
  $${displaystyle D_{text{KL}(Pparallel Q)geq 0,}$$

  
  un resultado conocido como la desigualdad de Gibbs, ${displaystyle D_{text{KL} {parallel Q)}$ equivale a cero si y sólo si ${displaystyle P=Q.$ como medidas.

En particular, si ${displaystyle P(dx)=p(x)mu (dx)}$ y ${displaystyle Q(dx)=q(x)mu (dx)}$Entonces ${displaystyle p(x)=q(x)}$ ${displaystyle mu }$- Casi en todas partes. La entropía ${displaystyle mathrm {H} (P)}$ por lo tanto establece un valor mínimo para la inter-entropía ${displaystyle mathrm {H} (P,Q)}$, el número esperado de bits requerido al utilizar un código basado en Q en lugar de P; y la divergencia Kullback-Leibler, por lo tanto, representa el número esperado de bits adicionales que deben ser transmitidos para identificar un valor x extraído X, si se utiliza un código correspondiente a la distribución de probabilidad Q, en lugar de la distribución "verdadera" P.

• No existe límite superior para el caso general. Sin embargo, se muestra que si P y Q son dos distribuciones discretas de probabilidad construidas mediante la distribución de la misma cantidad discreta, luego el valor máximo de ${displaystyle D_{text{KL} {parallel Q)}$ se puede calcular.
• La entropía relativa permanece bien definida para las distribuciones continuas, y además es invariante en las transformaciones del parámetro. Por ejemplo, si una transformación está hecha de variable x a variable ${displaystyle y(x)}$, entonces, desde ${displaystyle P(dx)=p(x),dx={tilde {p}(y),dy={tilde {p}(y(x))$ y ${displaystyle Q(dx)=q(x),dx={tilde {q}(y),dy={tilde {q}(y) sometida{tfrac {y} {dx}(x)$ Donde ${fnMicrosoft Sans Serif}$ es el valor absoluto del derivado o más generalmente del Jacobiano, la entropía relativa puede ser reescrita:
  $${displaystyle {begin{aligned}D_{text{KL}(Pparallel Q) ¿Por qué? {fnMicrosoft Sans Serif} {fnMicrosoft Sans Serif} {fnMicrosoft} {fnMicrosoft} {fnMicrosoft} {fnMicrosoft} {fnMicrosoft} {fnMicrosoft} {fnMicrosoft} {fnMicrosoft} {fnMicrosoft} {f}fnMicrosoft}f} {fnMicrosoft}f} {f}fnMicrosoft}}fnMicrosoft} {f}f}fnMicrosoft}fnun}fnMicrosoft}fnMicrosoft}fnKfnun}fnKfnun}fnun}fnun}f}fnun}fnKfnKfnun}fnun}fnKfnun}fnKf}fnKf}cfnMi ¿Por qué?$$

  
  Donde ${displaystyle y_{a}=y(x_{a}}$ y ${displaystyle y_{b}=y(x_{b}}$. Aunque se suponía que la transformación era continua, esta necesidad no era el caso. Esto también muestra que la entropía relativa produce una cantidad dimensionalmente consistente, ya que si x es una variable dimensionada, ${displaystyle p(x)}$ y ${displaystyle q(x)}$ son también dimensionados, ya que por ejemplo. ${displaystyle P(dx)=p(x),dx}$ no tiene dimensión. El argumento del término logarítmico es y permanece sin dimensión, como debe ser. Por lo tanto, se puede ver como de alguna manera una cantidad más fundamental que algunas otras propiedades en la teoría de la información (como la autoinformación o la entropía Shannon), que pueden convertirse en indefinidos o negativos para probabilidades no discretas.
• La entropía relativa es aditiva para distribuciones independientes de la misma manera que la entropía Shannon. Si ${displaystyle P_{1},P_{2}$ son distribuciones independientes, y ${displaystyle P(dx,dy)=P_{1}(dx)P_{2}(dy)}$, y también ${displaystyle Q(dx,dy)=Q_{1}(dx)Q_{2}(dy)}$ para las distribuciones independientes ${displaystyle Q_{1},Q_{2}$ entonces
  $${displaystyle D_{text{KL}}(Pparallel Q)=D_{text{KL}}(P_{1}parallel Q_{1})+D_{text{KL}(P_{2}parallel Q_{2}). }$$

  
• Entropía relativa ${displaystyle D_{text{KL} {parallel Q)}$ es convex en el par de medidas de probabilidad ${displaystyle (P,Q)}$, es decir, si ${displaystyle (P_{1},Q_{1})}$ y ${displaystyle (P_{2},Q_{2}}$ son dos pares de medidas de probabilidad entonces
  $${2}cH00}págnunciofnMicrosoft Sans Serif}* 1.}$$

  
• La expansión de Taylor ${fnMicrosoft Sans Serif} {fnMicrosoft Sans Serif} {fnMicrosoft Sans Serif}} {f} {fnMicroc {fnMicrosoft Sans Serif} {fnMicrosoft Sans Serif} {fnMicrosoft Sans Serif} {fnMicros} {fnMicros}}}}}} {f} {f} {f}}}f}f}}f}fnMicrocf}}}}}f}f}f} {fnMicroc}}f}}}}}}}}f}}f}}f}} {fnKf} {fnun}}}}f} {fnKf}f}f}fnKfnun}fnMicrocf}}}fnKf}}fnKf}}fnMi$.

Fórmula de dualidad para la inferencia variacional

El siguiente resultado, debido a Donsker y Varadhan, se conoce como fórmula variacional de Donsker y Varadhan.

Para una prueba alternativa utilizando la teoría de la medida, consulte.

Ejemplos

Distribuciones normales multivariadas

Supongamos que tenemos dos distribuciones normales multivariables, con medios ${displaystyle mu _{0},mu ¿Qué?$ y con matrices de covariancia ${displaystyle Sigma _{0},Sigma _{1}.}$ Si las dos distribuciones tienen la misma dimensión, k, entonces la entropía relativa entre las distribuciones es la siguiente:

${displaystyle D_{text{KL}left({mathcal {N}_{0}parallel {fn}fn}fnh}fnh} {fnK}left(operatorname {tr} left(Sigma) ¿Qué? Sigma _{0}right)-k+left(mu _{1}-mu _{0}right)^{mathsf {T}Sigma _{1}{-1}left(mu _{1}-mu _{0}right)+ln left({frac {det Sigma _{1}{det Sigma _{0}right)right). }$

El logaritmo en el último término debe ser llevado a la base e ya que todos los términos aparte de los últimos son base-e logaritmos de expresiones que son factores de la función de densidad o de otro modo surgen naturalmente. Por lo tanto, la ecuación da un resultado medido en nueces. Dividir toda la expresión anterior por ${displaystyle ln(2)}$ cede la divergencia en pedazos.

En una implementación numérica, es útil expresar el resultado en términos de las descomposiciones de Cholesky ${displaystyle L_{0},L_{1}$ tales que ${displaystyle Sigma ¿Qué?$ y ${displaystyle Sigma ¿Qué?$. Entonces con M y Sí. soluciones a los sistemas lineales triangulares ${displaystyle L_{1}M=L_{0}$, y ${displaystyle L_{1}y=mu ¿Qué? ¿Qué?$,

${displaystyle D_{text{KL}left({mathcal {N}_{0}parallel {fnfn}fnh}fnh}fnh}left(sum _{i,j=1} {k}(M_{ij})}{2}-k+ perpetuay WordPress^{2}+2sum ¿Qué? {fnMicroc {fnMicrosoft Sans Serif} {fnMicrosoft Sans Serif}} {fnMicrosoft Sans Serif}$

Un caso especial, y una cantidad común en la inferencia variacional, es la entropía relativa entre una distribución normal multivariada diagonal y una distribución normal estándar (con media cero y varianza unitaria):

${displaystyle ¿Qué? ¿Por qué? ################################################################################################################################################################################################################################################################ ¿Por qué? ¿Qué? }$

Para dos distribuciones normales univariadas p y q lo anterior se simplifica a

${displaystyle ¿Qué? - ¿Qué? - ¿Qué? {sigma {0}{2}+(mu _{0}-mu _{1}{2}{2sigma ¿Qué? {1}{2}}}$

En el caso de distribuciones normales co-centradas con ${displaystyle k=sigma _{1}/sigma ¿Qué?$, esto simplifica:

${displaystyle D_{text{KL}left({mathcal {}parallel {mathcal {}right)=log _{2}k+(k^{-2}-1)/2/ln(2)mathrm {bits}$

Distribuciones uniformes

Considere dos distribuciones uniformes, con el apoyo de ${displaystyle p=[A,B]$ incluida en ${displaystyle q=[C,D]$ ()${displaystyle Cleq A$). Entonces el beneficio de la información es:

${displaystyle ¿Qué?$

Intuitivamente, la información gana a k distribución uniforme más estrecha ${displaystyle log _{2}k}$ bits. Esto se conecta con el uso de bits en computación, donde ${displaystyle log _{2}k}$ se necesitarían bits para identificar un elemento de un k larga corriente.

Relación con las métricas

Aunque la entropía relativa es una distancia estadística, no es una métrica en el espacio de las distribuciones de probabilidad, sino que es una divergencia. Mientras que las métricas son simétricas y generalizadas linear distancia, satisfaciendo la desigualdad del triángulo, las divergencias son asimétricas en general y generalizar cuadrados distancia, en algunos casos satisfaciendo un teorema pitagórico generalizado. En general ${displaystyle D_{text{KL} {parallel Q)}$ no es igual ${displaystyle D_{text{KL}(Qparallel P)}$, y aunque esto puede ser simetrizado (ver § Divergencia simetrizada), la asimetría es una parte importante de la geometría.

Genera una topología en el espacio de distribuciones de probabilidad. Más concretamente, si ${displaystyle {P_{1},P_{2},ldots }}$ es una secuencia de distribuciones tales que

${displaystyle lim _{nto infty }D_{text{KL}(P_{n}parallel Q)=0}$,

entonces se dice que

${displaystyle P_{n}{xrightarrow {D}Q}$.

La desigualdad de Pinsker implica que

${displaystyle P_{n}xrightarrow # PRightarrow P_{n}xrightarrow {TV} P}$,

donde este último representa la convergencia habitual en la variación total.

Métrica de información de Fisher

La entropía relativa está directamente relacionada con la métrica de información Fisher. Esto puede hacerse explícito como sigue. Supongamos que las distribuciones de probabilidad P y Q son ambos parametrizados por algunos (posiblemente multidimensional) parámetro ${displaystyle theta }$. Considerar entonces dos cerca por valores de ${displaystyle P=P(theta)}$ y ${displaystyle Q=P(theta - Sí.$ para que el parámetro ${displaystyle theta }$ difiere sólo por una pequeña cantidad del valor del parámetro ${displaystyle theta ¿Qué?$. Específicamente, hasta el primer orden uno tiene (utilizando la convención de sumación de Einstein)

${displaystyle P(theta)=P(theta _{0})+Delta theta ¿Por qué?$

con ${displaystyle Delta theta _{j}=(theta -theta ¿Qué?$ un pequeño cambio ${displaystyle theta }$ en el j dirección, y ${displaystyle P_{j}left(theta _{0}right)={frac {partial P}{partial theta _{j}}}} {theta _{0}}}}} {Theta}}}} {Theta}}}} {Theta}}}}}}}} {Theta}}}}}}}}}} {$ la tasa de cambio correspondiente en la distribución de probabilidad. Puesto que la entropía relativa tiene un mínimo absoluto 0 para ${displaystyle P=Q.$, es decir. ${displaystyle theta =theta ¿Qué?$, sólo cambia a segundo orden en los parámetros pequeños ${displaystyle Delta theta _{j}}$. Más formalmente, como mínimo, los primeros derivados de la desaparición de la divergencia

${displaystyle left.{frac {partial }{partial theta Está bien. = 'theta ¿Por qué?$

y por la expansión de Taylor uno tiene hasta segundo orden

${displaystyle D_{text{KL}}(P(theta)parallel P(theta _{0})={frac {1}{2}},Delta theta _{j},Delta thetata ¿Por qué? ¿Qué?$

donde se encuentra la matriz hessiana de la divergencia

${displaystyle g_{jk}(theta _{0})=left.{frac {partial ^{2}}{partial theta _{j},partial theta Está bien. = 'theta ¿Por qué?$

debe ser semidefinido positivo. Letting ${displaystyle theta ¿Qué?$ (y bajando el subíndice 0) el Hessian ${displaystyle g_{jk}(theta)}$ define un (posiblemente degenerado) Riemannian metric on the Silencio espacio del parámetro, llamado la métrica de información Fisher.

Teorema de la métrica de información de Fisher

Cuando ${displaystyle p_{(x,rho)}$ satisface las siguientes condiciones de regularidad:

${displaystyle {frac {partial log(p)}{partial rho }},{frac {partial ^{2}log(p)}{partial rho ^{2}}}},{frac {partial ^{3}log(p)}{partial rho ^ {}}}}}}}}}}}}}}} {f}}}}}} {f}}}}}}}} {f}}} {f}}}}} {f}}}}}}}}}}}} {f}}}}}}}}}} {f}}}}} {f}}}} {f}}}}}}}}}}}}} {f}}} {f}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}} {f}}}}}}$ existen,

${displaystyle {begin{aligned}begin{fnMicroc {partial p}{partial rho }right tocando {fnMicrosoft Sans Serif} {fnMicrosoft Sans Serif}$

donde ξ es independiente de ρ

${displaystyle left.int {x=0}{infty}{frac {partial p(x,rho)}{partial rho "Justo en la vida" =0},dx=left. ¿Por qué?$

entonces:

${displaystyle {mathcal {}(p(x,0)parallel p(x,rho)={frac {crho {fnMicrosoft Sans Serif}rho to 0.}$

Variación de información

Otra métrica de la teoría de la información es la variación de la información, que es aproximadamente una simetrización de la entropía condicional. Es una métrica sobre el conjunto de particiones de un espacio de probabilidad discreto.

Relación con otras cantidades de la teoría de la información

Muchas de las otras cantidades de la teoría de la información pueden interpretarse como aplicaciones de entropía relativa a casos específicos.

Autoinformación

La autoinformación, también conocida como contenido de información de una señal, variable aleatoria o evento, se define como el logaritmo negativo de la probabilidad de que ocurra un resultado dado.

Cuando se aplica a una variable aleatoria discreta, la autoinformación se puede representar como

${displaystyle operatorname {fnombre de operador {I} (m)=D_{text{KL}left(delta _{text{im}parallel {p_{i}right),}$

es la entropía relativa de la distribución de probabilidad ${displaystyle P(i)}$ de un Kronecker delta que representa la certeza de que ${displaystyle i=m}$ — es decir, el número de bits adicionales que deben transmitirse para identificar i si sólo la distribución de probabilidad ${displaystyle P(i)}$ está disponible para el receptor, no el hecho de que ${displaystyle i=m}$.

Información mutua

La información mutua,

${displaystyle {begin{aligned}operatorname {I} (X;Y) {text{KL}}(P(X,Y)parallel P(X)P(Y)[5pt] {E} _{X}{D_{text{KL}}(P(Ymid X)parallel P(Y)}\[5pt] {E} _{Y}{D_{text{KL}}(P(Xmid Y)parallel P(X)end{aligned}}$

es la entropía relativa de la distribución de probabilidad conjunta ${displaystyle P(X,Y)}$ del producto ${displaystyle P(X)P(Y)}$ de las dos distribuciones marginales de probabilidad, es decir, el número esperado de bits adicionales que deben transmitirse para identificar X y Y si están codificados usando sólo sus distribuciones marginales en lugar de la distribución conjunta. Equivalentemente, si la probabilidad conjunta ${displaystyle P(X,Y)}$ es conocido, es el número esperado de bits adicionales que deben ser enviados en promedio para identificar Y si el valor de X no es ya conocido por el receptor.

Entropía de Shannon

La entropía de Shannon,

${displaystyle {begin{aligned}mathrm {H} (X) {E} left[fnMiembro del operador {I} _{X}(x)right]\fnMicrosoft Sans Serif}left(p_{X}(x)parallel P_{U}(X)right)end{aligned}}$

es el número de bits que tendrían que ser transmitidos para identificar X desde N igualmente probables posibilidades, menos la relativa entropía de la distribución uniforme en los variatos aleatorios X, ${displaystyle P_{U}(X)}$, de la verdadera distribución ${displaystyle P(X)}$ - i.e. menos el número esperado de bits salvados, que habría tenido que ser enviado si el valor de X fueron codificados según la distribución uniforme ${displaystyle P_{U}(X)}$ más que la verdadera distribución ${displaystyle P(X)}$. Esta definición de la entropía Shannon constituye la base de la generalización alternativa de E.T. Jaynes a las distribuciones continuas, la densidad limitante de puntos discretos (a diferencia de la entropía diferencial habitual), que define la entropía continua como

${displaystyle lim _{Nrightarrow infty }H_{N}(X)=log(N)-int p(x)log {frac {p(x)}{m(x)},dx,}$

que equivale a:

${displaystyle log(N)-D_{text{KL}}(p(x)$

Entropía condicional

La entropía condicional,

${displaystyle {begin{aligned}mathrm {H} (Xmid Y)}log(N)-D_{text{KL}(P(X,Y)parallel P_{U}(X)P(Y))\[5pt] â=log(N)-D_{KL}(P(X,Y)parallel P(X)P(X)P(Y) [H} (X)-operatorname {I} (X;Y)\[5pt] {E} _{Y}left[D_{text{KL}left(Pleft(Xmid Yright)parallel ¿Qué?$

es el número de bits que tendrían que ser transmitidos para identificar X desde N igualmente probables posibilidades, menos la entropía relativa de la distribución del producto ${displaystyle P_{U}(X)P(Y)}$ de la verdadera distribución conjunta ${displaystyle P(X,Y)}$ - i.e. menos el número esperado de bits salvados que habría tenido que ser enviado si el valor de X fueron codificados según la distribución uniforme ${displaystyle P_{U}(X)}$ más que la distribución condicional ${displaystyle P(X habitY)}$ de X dado Y.

Entropía cruzada

Cuando tenemos un conjunto de posibles eventos, provenientes de la distribución p, podemos codificarlos (con una compresión de datos sin pérdida) usando la codificación de entropía. Esto comprime los datos reemplazando cada símbolo de entrada de longitud fija con un código único, de longitud variable, sin prefijo (por ejemplo: los eventos (A, B, C) con probabilidades p = (1/2, 1/4, 1/4) se pueden codificar como los bits (0, 10, 11)). Si conocemos la distribución p de antemano, podemos diseñar una codificación que sería óptima (por ejemplo: usar codificación Huffman). Significando los mensajes que codificamos tendrán la longitud más corta en promedio (asumiendo que los eventos codificados se muestren desde p), que será igual a la Entropía de Shannon p (denominado como ${displaystyle mathrm {H} (p)}$). Sin embargo, si utilizamos una distribución de probabilidad diferente (q) al crear el esquema de codificación de entropía, entonces un mayor número de bits se utilizará (en promedio) para identificar un evento de un conjunto de posibilidades. Este nuevo (grande) número se mide por la entropía cruzada entre p y q.

La entropía cruzada entre dos distribuciones de probabilidad (p y q) mide el número promedio de bits necesarios para identificar un evento entre un conjunto de posibilidades, si se utiliza un esquema de codificación basado en una distribución de probabilidad determinada q, en lugar del "true" distribución p. La entropía cruzada para dos distribuciones p y q sobre el mismo espacio de probabilidad se define así de la siguiente manera.

${displaystyle mathrm {H} (p,q)=operatorname {E} _{p}[-log(q)]=mathrm {H} (p)+D_{text{KL}(pparallel q).}$

Para obtener una derivación explícita de esto, consulte la sección Motivación anterior.

En este escenario, se pueden interpretar entropías relativas (kl-divergence) como el número extra de bits, en promedio, que se necesitan (más allá ${displaystyle mathrm {H} (p)}$) para la codificación de los eventos debido a utilizar q para construir el esquema de codificación en lugar de p.

Actualización bayesiana

En las estadísticas bayesianas, la entropía relativa se puede utilizar como medida de la ganancia de información para pasar de una distribución previa a una distribución posterior: ${displaystyle p(x)to p(xmid I)}$. Si algo nuevo ${displaystyle Sí.$ se descubre, se puede utilizar para actualizar la distribución posterior para X desde ${displaystyle p(xmid I)}$ a una nueva distribución posterior ${displaystyle p(xmid y,I)}$ usando el teorema de Bayes:

${displaystyle p(xmid y,I)={frac {p(ymid x,I)p(xmid I)}{p(ymid I)}}}$

Esta distribución tiene una nueva entropía:

${displaystyle mathrm {H} {big (}p(xmid y,I){big)}=-sum _{x}p(xmid y,I)log p(xmid y,I),}$

que puede ser menor o mayor que la entropía original ${displaystyle mathrm {H} (p(xmid I)}$. Sin embargo, desde el punto de vista de la nueva distribución de probabilidad uno puede estimar que haber utilizado el código original basado en ${displaystyle p(xmid I)}$ en lugar de un nuevo código basado en ${displaystyle p(xmid y,I)}$ habría añadido un número esperado de bits:

${displaystyle ¿Por qué?$

a la longitud del mensaje. Por lo tanto, esto representa la cantidad de información útil, o ganancia de información, sobre X, que se ha aprendido descubriendo ${displaystyle Sí.$.

Si un nuevo pedazo de datos, ${displaystyle Y_{2}=y_{2}$, posteriormente entra, la distribución de probabilidad para x se puede actualizar más, para dar una nueva mejor conjetura ${displaystyle p(xmid y_{1},y_{2},I)}$. Si uno reinvestiga el beneficio de la información para utilizar ${displaystyle p(xmid y_{1},I)}$ en lugar de ${displaystyle p(xmid I)}$, resulta que puede ser mayor o menor de lo estimado anteriormente:

${displaystyle sum _{x}p(xmid y_{1},y_{2},I)log left({frac {p(xmid y_{1},y_{2},I)}{p(xmid I)}right)}}}}}$ puede ser ≤ o ${displaystyle displaystyle sum _{x}p(xmid y_{1},I)log left({frac {p(xmid y_{1},I)}{p(xmid I)}right)}}} {right)}$

y por lo tanto la ganancia de información combinada no obedece a la desigualdad del triángulo:

${displaystyle D_{text{KL}{big (}p(xmid y_{1},y_{2},I)parallel p(xmid I){big)}$ puede ser ${displaystyle ¿Por qué?$

Todo lo que se puede decir es que promedio, promedio de uso ${displaystyle p(y_{2}mid y_{1},x,I)}$Los dos lados saldrán en promedio.

Diseño experimental bayesiano

Un objetivo común en el diseño experimental bayesiano es maximizar la entropía relativa esperada entre el anterior y el posterior. Cuando las posteriores se aproximan a distribuciones gaussianas, un diseño que maximiza la entropía relativa esperada se denomina Bayes d-óptimo.

Información sobre discriminación

Entropía relativa ${textstyle D_{text{KL}{bigl (}p(xmid H_{1})parallel p(xmid H_{0}){bigr)}}$ también se puede interpretar como el discriminación para ${displaystyle H_{1}$ sobre ${displaystyle H_{0}$: la información media por muestra para discriminar a favor de una hipótesis ${displaystyle H_{1}$ contra una hipótesis ${displaystyle H_{0}$, cuando hipótesis ${displaystyle H_{1}$ es verdad. Otro nombre para esta cantidad, dado a ella por I. J. Good, es el peso esperado de evidencia para ${displaystyle H_{1}$ sobre ${displaystyle H_{0}$ que se espera de cada muestra.

El peso esperado de las pruebas ${displaystyle H_{1}$ sobre ${displaystyle H_{0}$ es no igual que el aumento de información esperado por muestra sobre la distribución de probabilidad ${displaystyle p(H)}$ de las hipótesis,

${displaystyle D_{text{KL}(p(xmid H_{1})parallel p(xmid H_{0})neq IG=D_{text{KL}(p(Hmid x)parallel p(Hmid I)). }$

Cualquiera de las dos cantidades puede usarse como función de utilidad en el diseño experimental bayesiano, para elegir una siguiente pregunta óptima para investigar: pero en general conducirán a estrategias experimentales bastante diferentes.

En la escala de entropía de la ganancia de información hay muy poca diferencia entre certeza cercana y certeza absoluta: codificar según una certeza casi requiere apenas más bits que codificar según una certeza absoluta. Por otro lado, en la escala logit implícita en el peso de la evidencia, la diferencia entre los dos es enorme –quizás infinita–; esto podría reflejar la diferencia entre estar casi seguro (en un nivel probabilístico) de que, digamos, la hipótesis de Riemann es correcta, en comparación con estar seguro de que es correcta porque se tiene una demostración matemática. Estas dos escalas diferentes de función de pérdida para la incertidumbre son ambas útiles, según qué tan bien refleje cada una las circunstancias particulares del problema en cuestión.

Principio de información mínima de discriminación

La idea de la entropía relativa como información de discriminación llevó a Kullback a proponer el principio de Discriminación mínima Información (MDI): dados nuevos hechos, una nueva distribución f debe ser elegido que es tan difícil de discriminar de la distribución original ${displaystyle f_{0}$ lo que sea posible; de modo que los nuevos datos produzcan un pequeño aumento de la información ${displaystyle D_{text{KL}(fparallel f_{0}}$ como sea posible.

Por ejemplo, si uno tenía una distribución previa ${displaystyle p(x,a)}$ sobre x y a, y posteriormente aprendió la verdadera distribución de a era ${displaystyle u(a)}$, entonces la entropía relativa entre la nueva distribución conjunta para x y a, ${displaystyle q(xmid a)u(a)}$, y la distribución anterior sería:

${displaystyle ¿Por qué?$

i.e. the sum of the relative entropy of ${displaystyle p(a)}$ la distribución anterior para a de la distribución actualizada ${displaystyle u(a)}$, más el valor esperado (utilizando la distribución de probabilidad ${displaystyle u(a)}$) de la entropía relativa de la distribución condicional anterior ${displaystyle p(xmid a)}$ de la nueva distribución condicional ${displaystyle q(xmid a)}$. (Nota que a menudo el valor esperado posterior se llama el condicional relativa entropía (o condicional Kullback – Divergencia de lectura) y denotado por ${displaystyle D_{text{KL}}(q(xmid a)parallel p(xmid a)}$) Esto se minimiza si ${displaystyle q(xmid a)=p(xmid a)}$ sobre todo el apoyo de ${displaystyle u(a)}$; y observamos que este resultado incorpora el teorema de Bayes, si la nueva distribución ${displaystyle u(a)}$ es de hecho una función δ que representa la certeza de que a tiene un valor particular.

El MDI puede verse como una extensión del Principio de Razón Insuficiente de Laplace y del Principio de Máxima Entropía de E.T. Jaynes. En particular, es la extensión natural del principio de máxima entropía de distribuciones discretas a continuas, para la cual la entropía de Shannon deja de ser tan útil (ver entropía diferencial), pero la entropía relativa sigue siendo justa. tan relevante.

En la literatura de ingeniería, MDI a veces se denomina Principio de entropía cruzada mínima (MCE) o Minxent para abreviar. Minimizar la entropía relativa de m a p< /span> con respecto a m equivale a minimizar la entropía cruzada de p y m, desde

${displaystyle mathrm {H}(p,m)=mathrm {H}(p)+D_{text{KL}}(pparallel m),}$

que es apropiado si uno está tratando de elegir una aproximación adecuada p. Sin embargo, esto es tan a menudo no la tarea que uno está tratando de lograr. En su lugar, tan a menudo es m que es alguna medida de referencia anterior fija, y p que uno está tratando de optimizar al minimizar ${displaystyle D_{text{KL}(pparallel m)}$ sujeto a alguna limitación. Esto ha llevado a cierta ambigüedad en la literatura, con algunos autores que intentan resolver la inconsistencia al redefinir la inter-entropía para ser ${displaystyle D_{text{KL}(pparallel m)}$, en lugar de ${displaystyle mathrm {H} (p,m)}$.

Relación con el trabajo disponible

Los sorpresas agregan donde las probabilidades se multiplican. El sorpresa para un evento de probabilidad p se define como ${displaystyle s=kln(1/p)}$. Si k es ${displaystyle left{1,1/ln 2,1.38times 10^{-23}right}$ entonces surprisal está en ${displaystyle{}$nats, bits, or ${displaystyle J/K}}$ por ejemplo, N bits of surprisal for landing all "heads" on a toss of N monedas.

Los estados de las mejores invitaciones (por ejemplo, para los átomos en un gas) se infiere al máximo el promedio surprisal S (entropía) para un determinado conjunto de parámetros de control (como presión) P o volumen V). Esta maximización limitada de la entropía, tanto clásica como cuántica mecánicamente, minimiza la disponibilidad de Gibbs en unidades de entropía ${displaystyle Aequiv -kln(Z)}$ Donde Z es una función de multiplicidad o partición limitada.

Cuando la temperatura T se fija, energía libre (${displaystyle Ttimes A}$) también se minimiza. Así si ${displaystyle T,V}$ y número de moléculas N son constantes, la energía libre Helmholtz ${displaystyle Fequiv U-TS}$ (donde) U es energía y S es entropía) se minimiza como un sistema "equilibrados". Si T y P se mantienen constantes (por ejemplo durante procesos en su cuerpo), la energía libre Gibbs ${displaystyle G=U+PV-TS}$ se minimiza en su lugar. El cambio de la energía libre en estas condiciones es una medida de trabajo disponible que podría hacerse en el proceso. Así trabajo disponible para un gas ideal a temperatura constante ${displaystyle T_{o}$ y presión ${displaystyle P_{o}$ es ${displaystyle W=Delta G=NkT_{o} Theta (V/V_{o})}$ Donde ${displaystyle V_{o}=NkT_{o}/P_{o}$ y ${displaystyle Theta (x)=x-1-ln xgeq 0}$ (ver también la desigualdad de Gibbs).

Más generalmente el trabajo disponible en relación con algún ambiente se obtiene multiplicando la temperatura ambiente ${displaystyle T_{o}$ por entropía relativa o net surprisal ${displaystyle Delta Igeq 0,}$ definido como el valor promedio ${displaystyle kln(p/p_{o}}$ Donde ${displaystyle p_{o}$ es la probabilidad de un estado dado en condiciones ambientales. Por ejemplo, el trabajo disponible para equilibrar un gas ideal monatómico a los valores ambientales de ${displaystyle V_{o}$ y ${displaystyle T_{o}$ Así es. ${displaystyle W=T_{o} Delta I$, donde entropía relativa

${displaystyle Delta I=Nkleft[Theta left({frac [V] {V_{o}}right)+{frac {3}{2}Theta left({frac {T}}right)right].}$

Los contornos resultantes de entropía relativa constante, que se muestran a la derecha para un mol de argón a temperatura y presión estándar, por ejemplo, ponen límites a la conversión de calor a frío como en el aire acondicionado accionado por llama o en el dispositivo sin alimentación para convertir agua hirviendo en agua helada que se analiza aquí. Así, la entropía relativa mide la disponibilidad termodinámica en bits.

Teoría de la información cuántica

Para matrices de densidad P y Q en un espacio de Hilbert, la entropía relativa cuántica de Q a P se define como

${displaystyle D_{text{KL}}(Pparallel Q)=operatorname {Tr} (P(log(P)-log(Q)). }$

En la ciencia de la información cuántica el mínimo ${displaystyle D_{text{KL} {parallel Q)}$ sobre todos los estados separables Q también se puede utilizar como una medida de enredamiento en el estado P.

Relación entre modelos y realidad

Así como la entropía relativa de "real desde ambiental" mide la disponibilidad termodinámica, la entropía relativa de la "realidad de un modelo" También es útil incluso si las únicas pistas que tenemos sobre la realidad son algunas mediciones experimentales. En el primer caso, la entropía relativa describe la distancia al equilibrio o (cuando se multiplica por la temperatura ambiente) la cantidad de trabajo disponible, mientras que en el último caso te informa sobre las sorpresas que la realidad tiene. tiene bajo la manga o, en otras palabras, cuánto le queda por aprender al modelo.

Aunque esta herramienta para evaluar modelos frente a sistemas a los que se puede acceder experimentalmente se puede aplicar en cualquier campo, su aplicación para seleccionar un modelo estadístico mediante el criterio de información de Akaike se describe particularmente bien en artículos y en un libro de Burnham y Anderson. En pocas palabras, la entropía relativa de la realidad de un modelo puede estimarse, dentro de un término aditivo constante, en función de las desviaciones observadas entre los datos y las predicciones del modelo (como la desviación cuadrática media). Las estimaciones de dicha divergencia para modelos que comparten el mismo término aditivo pueden, a su vez, usarse para seleccionar entre modelos.

Al intentar ajustar modelos parametrizados a los datos, existen varios estimadores que intentan minimizar la entropía relativa, como los estimadores de máxima verosimilitud y máximo espaciado.

Divergencia simetrizada

Kullback & Leibler (1951) También se considera la función simetrizada:

${displaystyle D_{text{KL}}(Pparallel Q)+D_{text{KL}}(Qparallel P)}$

a la que se referían como "divergencia", aunque hoy en día la "divergencia KL" se refiere a la función asimétrica (ver § Etimología para la evolución del término). Esta función es simétrica y no negativa, y ya había sido definida y utilizada por Harold Jeffreys en 1948; en consecuencia, se denomina divergencia de Jeffreys.

Esta cantidad a veces se ha utilizado para la selección de características en problemas de clasificación, donde P y Q son los archivos PDF condicionales de una característica en dos clases diferentes. En los sectores bancario y financiero, esta cantidad se conoce como índice de estabilidad de la población (PSI) y se utiliza para evaluar los cambios distributivos en las características del modelo a lo largo del tiempo.

Una alternativa se da a través de ${displaystyle lambda }$-divergence,

${displaystyle D_{cfnMicrosoft }(Pparallel Q)=lambda D_{text{KL}}(Pparallel lambda P+(1-lambda)Q)+(1-lambda)D_{text{KL}(Qparallel lambda P+(1-lambda)Q),}$

que puede interpretarse como el aumento previsto de la información X de descubrir qué distribución de probabilidad X de, P o Q, si actualmente tienen probabilidades ${displaystyle lambda }$ y ${displaystyle 1-lambda}$ respectivamente.