La desigualdad de Hoeffding

En teoría de la probabilidad, la desigualdad de Hoeffding proporciona un límite superior a la probabilidad de que la suma de variables aleatorias independientes acotadas se desvíe de su valor esperado en más de una determinada cantidad. La desigualdad de Hoeffding fue demostrada por Wassily Hoeffding en 1963.

La desigualdad de Hoeffding es un caso especial de la desigualdad de Azuma-Hoeffding y de la desigualdad de McDiarmid. Es similar al límite de Chernoff, pero tiende a ser menos nítido, en particular cuando la varianza de las variables aleatorias es pequeña. Es similar, pero incomparable, a una de las desigualdades de Bernstein.

Declaración

Vamos. X₁,... X_n ser variables aleatorias independientes ${displaystyle a_{i}leq X_{i}leq B_{i}$ Casi seguro. Considere la suma de estas variables aleatorias,

${displaystyle S_{n}=X_{1}+cdots - Sí.$

Entonces el teorema de Hoeffding establece que, para todos los t > 0,

${displaystyle {begin{aligned}operatorname {P} left(S_{n}-mathrm {E} left[S_{n}right]geq tright) ¿Por qué? {P} left(left habitS_{n}-mathrm {E} left[S_{n}right)derechageq tright) ¿Qué? ¿Qué?$

Aquí E[S_n] es el valor esperado de S_n.

Tenga en cuenta que las desigualdades también se cumplen cuando los X_i se han obtenido utilizando muestreo sin reemplazo.; en este caso las variables aleatorias ya no son independientes. Una prueba de esta afirmación se puede encontrar en el artículo de Hoeffding. Para límites ligeramente mejores en el caso del muestreo sin reemplazo, véase, por ejemplo, el artículo de Serfling (1974).

Ejemplo

Suppose ${displaystyle a_{i}=0}$ y ${displaystyle B_{i}=1}$ para todos i. Esto puede ocurrir cuando X_i son variables independientes Bernoulli al azar, aunque no necesitan ser distribuidas de forma idéntica. Entonces tenemos la desigualdad

${displaystyle {begin{aligned}operatorname {P} left(S_{n}-mathrm {E} left[S_{n}right]geq tright) limitadaleq exp(-2t^{2}/n)\\\operatorname {P} left(left concerns_{n}-mathrm {E} left[S_{n}right)derechageq tright)$

para todos ${displaystyle tgeq 0}$. Esta es una versión del límite aditivo Chernoff que es más general, ya que permite variables aleatorias que toman valores entre cero y uno, pero también más débil, ya que el límite Chernoff da un mejor límite de cola cuando las variables aleatorias tienen pequeña varianza.

Caso general de variables aleatorias acotadas desde arriba

La desigualdad de Hoeffding se puede extender al caso de variables aleatorias acotadas desde arriba.

Vamos. X₁,... X_n ser variables aleatorias independientes ${displaystyle mathrm ¿Qué?$ y ${displaystyle X_{i}leq B_{i}$ Casi seguro. Denote by

${displaystyle {begin{aligned}C_{i}=left{begin{array}{ll}mathrm} ¿Qué? mathrm {E} X_{i} {2}geq b_{i}{2},\displaystyle {frac {1}{4}left(b_{i}+{frac {mathrm {E} ¿Qué? Bien.$

La desigualdad de Hoeffding por obligarse de variables aleatorias superiores establece que para todos ${displaystyle tgeq 0}$,

${displaystyle mathrm {P} left(left ¿Por qué? {fnK}{2}{2sum - ¿Sí?$

En particular, si ${displaystyle mathrm {E} X_{i}{2}gq B_{i} {2}$ para todos ${displaystyle i}$, entonces para todos ${displaystyle tgeq 0}$,

${displaystyle mathrm {P} left(left ¿Por qué? {fnK}{2}{2sum ##{i=1} {n}mathrm ¿Qué?$

Caso general de variables aleatorias subgaussianas

La prueba de la desigualdad de Hoeffding se puede generalizar a cualquier distribución subgaussiana. Recuerde que una variable aleatoria X se llama subgaussiana, si

${displaystyle mathrm {P} {be1}leq 2e^{-ct^{2}}}$

para algunos c]0. Para cualquier variable fija X, ${displaystyle mathrm {P} {be1}=0leq 2e^{-ct^{2}}}$ para ${displaystyle t}$ para algunos suficientemente grandes T. Entonces... ${displaystyle 2e^{-cT^{2}leq 2e^{2}}}$ para todos ${displaystyle tleq T}$ así que... ${displaystyle c=log(2)/T^{2}$ rendimientos

${displaystyle mathrm {P} {leq t)leq 1leq 2e^{-cT^{2}leq 2e^{2}}}}}}$

para ${displaystyle tleq T}$. Así que cada variable atada es sub-Gaussian.

Para una variable aleatoria X, la siguiente norma es finita si y sólo si X es subgaussiano:

${displaystyle Vert XVert _{psi ¿Por qué?$

Entonces deja que X₁,..., X_n son variables aleatorias subgaussianas independientes de media cero, la versión general de la desigualdad de Hoeffding establece que:

${displaystyle mathrm {P} left(left ¿Por qué? {fnK} {fnMicrosoft} {fnMicrosoft}} {fnMicrosoft}} {fnMicrosoft} {fnMicrosoft}}} {fnK}} {f}}} {fnK}}} {f}} {f}}}} {fnKf}}}}} {f}}}} {f}}}}}}}}}}}}}}}}}}}}}}} {f}}}}} {f}}}} {f}}}}} {f}}}} {f}}}}}}}}}}}}}}}}}}}}} {f}}}}}}}}}} {f}}}} {b}}}}}}}}}}}} {f}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}} { ¿Qué? Vert X_{i} Vert... - ¿Sí?$

donde c > 0 es una constante absoluta.

Prueba

La prueba de la desigualdad de Hoeffding se sigue de manera similar a las desigualdades de concentración como los límites de Chernoff. La principal diferencia es el uso del lema de Hoeffding:

Suppose X es una variable aleatoria real tal que ${displaystyle Xin left[a,bright]$ Casi seguro. Entonces...

${displaystyle mathrm {E}left[e^{sleft(X-mathrm {E} left[Xright]right)}leq exp left({tfrac {1}{8}s^{2}(b-a)^{2}right). }$

Usando esta lema, podemos probar la desigualdad de Hoeffding. Como en la declaración del teorema, supongamos X₁,... X_n son n variables aleatorias independientes ${displaystyle X_{i}in [a_{i},b_{i}}$ casi seguro para todos i, y dejar ${displaystyle S_{n}=X_{1}+cdots +X_{n}$.

Luego, para s, t > 0, la desigualdad de Markov y la independencia de X_i implica:

${displaystyle {begin{aligned}operatorname {P} left(S_{n}-mathrm {E} left[S_{n}right]geq tright) {P} left(exp(s_{n}-mathrm {E} left[S_{n}right))geq exp(st)right)\\\leq exp(-st)mathrm {E} left[expn}-mathrm {E}left {nstnst}nst}m}m}m}sssssssssssssssssssssssssssssssssssssssssssssssss_sssssssssss_ssssssssss_sssss_s_sss_s_ssss_ssssss_ssss_s_esss_sss_s_sssss_s_ssss_s_ssss_s_s_sss ##{i=1} {n}mathrm {E} left[exp(s(X_{i}-mathrm {E} left[X_{i}right])right]just]\fncipeleq exp(-st)prod - ¿Por qué? {fnK} {fnK} {fnK}} {f}}} {f}} {f}}} {f}}} {fn} {f}}}} {fn}}}} {fn}}}} {f}}} {f}}}}}} {f}}}}}}}} { Grandes! {1} {8}s^{2}sum ¿Qué? ¿Qué?$

Este límite superior es el mejor para el valor de s minimizando el valor dentro del exponencial. Esto se puede hacer fácilmente optimizando una cuadrática, dando

${displaystyle s={frac {4t}{sum ¿Qué?$

Escribiendo el límite anterior para este valor de s, obtenemos el límite deseado:

${displaystyle operatorname {P} left(S_{n}-mathrm {E} left[S_{n}right]geq tright)leq exp left(-{frac {2t^{2}{2}{sum}{f} {f} {f} {f}}} {f}}}} {f}}}}}} {f}f}}f}f}}f}f}f}f}f}f}f}f}f}f}f}f}f}f}f}f}}f}f}f}f}f}f}}fn}f}fn}}fn}f}fnfnfnf}f}fn}fn}fn}fn}fn}fn}fn}fn}f}fn ¿Qué? - Sí.$

Uso

Intervalos de confianza

La desigualdad de Hoeffding se puede utilizar para obtener intervalos de confianza. Consideramos una moneda que muestra cabezas con probabilidad p y colas con probabilidad 1 − p. Tiramos la moneda n tiempos, generando n muestras ${displaystyle X_{1},ldots X_{n}$ (que son i.i.d Bernoulli variables aleatorias). El número esperado de veces que la moneda aparece cabezas es pn. Además, la probabilidad de que la moneda aparezca cabezas al menos k los tiempos pueden cuantificarse exactamente por la siguiente expresión:

${displaystyle operatorname {P} (H(n)geq k)=sum ¿Qué? {n}}p^{i}(1-p)^{n-i}$

donde H(n) es el número de cabezas en n lanzamientos de moneda.

Cuando k = (p + ε)n para algunos ε > 0, la desigualdad de Hoeffding limita esta probabilidad por un término que es exponencialmente pequeño en ε² n:

${displaystyle operatorname {P} (H(n)-pnilovarepsilon n)leq exp left(-2varepsilon ^{2}nright). }$

Dado que este límite se cumple en ambos lados de la media, la desigualdad de Hoeffding implica que el número de caras que vemos se concentra alrededor de su media, con una cola exponencialmente pequeña.

${displaystyle operatorname {P} left(prisionh(n)-pn orovarepsilon nright)leq 2exp left(-2varepsilon ^{2}nright). }$

Pensando en ${displaystyle {fnK}={frac} {1} {n}H(n)}$ como el "observado" significa, esta probabilidad puede ser interpretada como el nivel de significación ${displaystyle alpha }$ (probabilidad de cometer un error) para un intervalo de confianza alrededor ${displaystyle p}$ de tamaño 2Î:

${displaystyle alpha =operatorname [P-varepsilonp+varepsilon])leq 2e^{-2varepsilon ^{2}n}$

Encontrar n para el signo de desigualdad opuesto en lo anterior, es decir, n que viola la desigualdad pero no la igualdad anterior, nos da:

${displaystyle ngeq {frac {log(2/alpha)}{2varepsilon ^{2}}}}}$

Por lo tanto, necesitamos al menos ${displaystyle textstyle {frac {log(2/alpha)}{2varepsilon ^{2}}}}$ muestras para adquirir una ${displaystyle textstyle (1-alpha)}$- intervalo de confianza ${displaystyle textstyle ppm varepsilon }$.

Por lo tanto, el costo de adquirir el intervalo de confianza es sublineal en términos de nivel de confianza y cuadrático en términos de precisión. Tenga en cuenta que existen métodos más eficientes para estimar un intervalo de confianza.