Bootstrapping (estadísticas)

Bootstrapping es un procedimiento para estimar la distribución de un estimador mediante un nuevo muestreo (a menudo con reemplazo) de los datos o de un modelo estimado a partir de los datos. El bootstrapping asigna medidas de precisión (sesgo, varianza, intervalos de confianza, error de predicción, etc.) a las estimaciones de la muestra. Esta técnica permite estimar la distribución de muestreo de casi cualquier estadística utilizando métodos de muestreo aleatorio.

El bootstrap estima las propiedades de un estimando (como su varianza) midiendo esas propiedades al tomar muestras de una distribución aproximada. Una opción estándar para una distribución aproximada es la función de distribución empírica de los datos observados. En el caso en que se pueda suponer que un conjunto de observaciones proviene de una población independiente e idénticamente distribuida, esto se puede implementar construyendo una cantidad de remuestreos con reemplazo del conjunto de datos observados (y de igual tamaño que el conjunto de datos observados). Un resultado clave en el artículo seminal de Efron que introdujo el bootstrap es el desempeño favorable de los métodos bootstrap que utilizan muestreo con reemplazo en comparación con métodos anteriores como el jackknife que muestrea sin reemplazo. Sin embargo, desde su introducción, se han propuesto numerosas variantes del bootstrap, incluidos métodos que muestrean sin reemplazo o que crean muestras bootstrap más grandes o más pequeñas que los datos originales.

El método bootstrap también se puede utilizar para construir pruebas de hipótesis. A menudo se utiliza como una alternativa a la inferencia estadística basada en el supuesto de un modelo paramétrico cuando dicho supuesto está en duda, o cuando la inferencia paramétrica es imposible o requiere fórmulas complicadas para el cálculo de los errores estándar.

The bootstrap was first described by Bradley Efron in "Bootstrap methods: another look at the jackknife" (1979), inspiration by earlier work on the jackknife. Posteriormente se elaboraron estimaciones mejoradas de la diferencia. En 1981 se desarrolló una extensión bayesiana. El sesgo corregido y acelerado (${\displaystyle BC_{a}$) bootstrap fue desarrollado por Efron en 1987, y el intervalo de confianza de arranque aproximado (ABC, o aproximado ${\displaystyle BC_{a}$) procedimiento en 1992.

La idea básica del bootstrap es que la inferencia sobre una población a partir de datos de muestra (muestra → población) se puede modelar mediante el remuestreo de los datos de muestra y la realización de la inferencia sobre una muestra a partir de datos remuestreados (remuestreado → muestra). Como la población es desconocida, el error verdadero en una estadística de muestra en relación con su valor de población es desconocido. En los remuestreos con bootstrap, la "población" es de hecho la muestra, y esto se conoce; por lo tanto, la calidad de la inferencia de la muestra "verdadera" a partir de datos remuestreados (remuestreado → muestra) es medible.

Más formalmente, el bootstrap funciona tratando la inferencia de la distribución de probabilidad verdadera J, dados los datos originales, como si fuera análoga a una inferencia de la distribución empírica Ĵ, dados los datos remuestreados. La precisión de las inferencias con respecto a Ĵ utilizando los datos remuestreados se puede evaluar porque conocemos Ĵ. Si Ĵ es una aproximación razonable a J, entonces se puede inferir a su vez la calidad de la inferencia sobre J.

A modo de ejemplo, supongamos que nos interesa la altura media (o promedio) de las personas de todo el mundo. No podemos medir a todas las personas de la población mundial, por lo que, en su lugar, tomamos una muestra de sólo una pequeña parte de ella y la medimos. Supongamos que la muestra es de tamaño N; es decir, medimos las alturas de N individuos. A partir de esa única muestra, sólo se puede obtener una estimación de la media. Para poder razonar sobre la población, necesitamos tener alguna idea de la variabilidad de la media que hemos calculado. El método bootstrap más simple implica tomar el conjunto de datos original de alturas y, utilizando una computadora, tomar muestras de él para formar una nueva muestra (llamada "remuestreo" o muestra bootstrap) que también es de tamaño N. La muestra bootstrap se toma de la original mediante un muestreo con reemplazo (por ejemplo, podríamos "remuestrear" 5 veces de [1,2,3,4,5] y obtener [2,5,4,4,1]), por lo que, suponiendo que N es suficientemente grande, para todos los fines prácticos existe una probabilidad virtualmente cero de que sea idéntica a la muestra "real" original. Este proceso se repite una gran cantidad de veces (normalmente 1000 o 10 000 veces) y, para cada una de estas muestras bootstrap, calculamos su media (cada una de ellas se denomina "estimación bootstrap"). Ahora podemos crear un histograma de medias bootstrap. Este histograma proporciona una estimación de la forma de la distribución de la media de la muestra a partir de la cual podemos responder preguntas sobre cuánto varía la media entre muestras. (El método aquí descrito para la media se puede aplicar a casi cualquier otra estadística o estimador).

Una gran ventaja del método bootstrap es su simplicidad. Es una manera directa de derivar estimaciones de errores estándar e intervalos de confianza para estimadores complejos de la distribución, como puntos percentiles, proporciones, razones de probabilidades y coeficientes de correlación. Sin embargo, a pesar de su simplicidad, el método bootstrap se puede aplicar a diseños de muestreo complejos (por ejemplo, para una población dividida en s estratos con n_s observaciones por estrato, el método bootstrap se puede aplicar para cada estrato). El método bootstrap también es una manera apropiada de controlar y verificar la estabilidad de los resultados. Aunque para la mayoría de los problemas es imposible conocer el intervalo de confianza verdadero, el método bootstrap es asintóticamente más preciso que los intervalos estándar obtenidos utilizando la varianza de la muestra y supuestos de normalidad. El método bootstrap también es un método conveniente que evita el costo de repetir el experimento para obtener otros grupos de datos de muestra.

El bootstrapping depende en gran medida del estimador utilizado y, aunque es simple, su uso ingenuo no siempre arrojará resultados asintóticamente válidos y puede conducir a inconsistencias. Aunque el bootstrapping es asintóticamente consistente (en ciertas condiciones), no ofrece garantías generales para muestras finitas. El resultado puede depender de la muestra representativa. La aparente simplicidad puede ocultar el hecho de que se están haciendo suposiciones importantes al realizar el análisis bootstrap (por ejemplo, independencia de las muestras o tamaño de muestra lo suficientemente grande) cuando estas se expresarían de manera más formal en otros enfoques. Además, el bootstrapping puede llevar mucho tiempo y no hay mucho software disponible para el bootstrapping, ya que es difícil automatizarlo utilizando paquetes informáticos estadísticos tradicionales.

Los académicos han recomendado más muestras de bootstrap a medida que ha aumentado la capacidad de cómputo disponible. Si los resultados pueden tener consecuencias sustanciales en el mundo real, entonces se deben utilizar tantas muestras como sea razonable, dada la capacidad de cómputo y el tiempo disponibles. Aumentar el número de muestras no puede aumentar la cantidad de información en los datos originales; solo puede reducir los efectos de los errores de muestreo aleatorios que pueden surgir del propio procedimiento de bootstrap. Además, hay evidencia de que un número de muestras mayor que 100 conduce a mejoras insignificantes en la estimación de los errores estándar. De hecho, según el desarrollador original del método de bootstrap, incluso establecer el número de muestras en 50 es probable que conduzca a estimaciones de error estándar bastante buenas.

Adèr et al. recomiendan el procedimiento bootstrap para las siguientes situaciones:

• Cuando la distribución teórica de una estadística de interés es complicada o desconocida. Dado que el procedimiento de arranque es independiente de la distribución, proporciona un método indirecto para evaluar las propiedades de la distribución subyacente a la muestra y los parámetros de interés que se derivan de esta distribución.

• Cuando el tamaño de la muestra es insuficiente para la inferencia estadística directa. Si la distribución subyacente es bien conocida, el arranque proporciona una forma de contabilizar las distorsiones causadas por la muestra específica que puede no ser plenamente representativa de la población.

• Cuando hay que realizar cálculos de potencia, y hay una pequeña muestra piloto disponible. La mayoría de los cálculos de potencia y tamaño de muestra dependen en gran medida de la desviación estándar de la estadística de interés. Si la estimación utilizada es incorrecta, el tamaño de la muestra requerido también será incorrecto. Un método para obtener una impresión de la variación de la estadística es utilizar una pequeña muestra piloto y realizar el arranque en ella para obtener la impresión de la varianza.

Sin embargo, Athreya ha demostrado que si se realiza un bootstrap ingenuo sobre la media de la muestra cuando la población subyacente carece de una varianza finita (por ejemplo, una distribución de ley de potencia), entonces la distribución bootstrap no convergerá al mismo límite que la media de la muestra. Como resultado, los intervalos de confianza basados en una simulación de Monte Carlo del bootstrap podrían ser engañosos. Athreya afirma que "a menos que uno esté razonablemente seguro de que la distribución subyacente no tiene colas pesadas, uno debería dudar en utilizar el bootstrap ingenuo".

En los problemas univariados, suele ser aceptable volver a muestrear las observaciones individuales con reemplazo ("remuestreo de casos" a continuación), a diferencia del submuestreo, en el que el remuestreo se realiza sin reemplazo y es válido en condiciones mucho más débiles en comparación con el bootstrap. En muestras pequeñas, puede ser preferible un enfoque bootstrap paramétrico. Para otros problemas, probablemente se prefiera un bootstrap suave.

Para los problemas de regresión, existen otras alternativas.

El método bootstrap es generalmente útil para estimar la distribución de una estadística (por ejemplo, media, varianza) sin utilizar supuestos de normalidad (como se requiere, por ejemplo, para una estadística z o una estadística t). En particular, el método bootstrap es útil cuando no existe una forma analítica o una teoría asintótica (por ejemplo, un teorema del límite central aplicable) para ayudar a estimar la distribución de las estadísticas de interés. Esto se debe a que los métodos bootstrap pueden aplicarse a la mayoría de las cantidades aleatorias, por ejemplo, la relación entre la varianza y la media. Hay al menos dos formas de realizar un remuestreo de casos.

1. El algoritmo de Monte Carlo para el muestreo de casos es bastante simple. Primero, reelaboramos los datos con el reemplazo, y el tamaño del muestreo debe ser igual al tamaño del conjunto de datos original. Luego, la estadística de interés se calcula desde el resplandor desde el primer paso. Repetimos esta rutina muchas veces para obtener una estimación más precisa de la distribución Bootstrap de la estadística.
2. La versión "exacta" para el muestreo de casos es similar, pero enumeramos exhaustivamente cada posible resample del conjunto de datos. Esto puede ser computacionalmente caro ya que hay un total de ${\displaystyle {\binom} ¡No!$ diferentes muestras, donde n es el tamaño del conjunto de datos. Así pues, n = 5, 10, 20, 30 hay 126, 92378, 6.89 × 10¹⁰ y 5.91 × 10¹⁶ diferentes muestras respectivamente.

Consideremos un experimento de lanzamiento de moneda. Lanzamos la moneda y registramos si cae cara o cruz. Sean X = x₁, x₂, …, x₁₀ 10 observaciones del experimento. x_i = 1 si el i-ésimo lanzamiento cae cara, y 0 en caso contrario. Invocando el supuesto de que el promedio de los lanzamientos de moneda se distribuye normalmente, podemos usar la estadística t para estimar la distribución de la media de la muestra,

${\displaystyle {\bar {x}={}{10}(x_{1}+x_{2}+\cdots +x_{10}).$

Esta suposición de normalidad se puede justificar como una aproximación de la distribución de cada lanzamiento de moneda individual o como una aproximación de la distribución del promedio de un gran número de lanzamientos de moneda. La primera es una aproximación deficiente porque la distribución real de los lanzamientos de moneda es Bernoulli en lugar de normal. La segunda es una aproximación válida en muestras infinitamente grandes debido al teorema del límite central.

Sin embargo, si no estamos listos para hacer tal justificación, entonces podemos usar el bootstrap en su lugar. Utilizando el muestreo de casos, podemos derivar la distribución de ${\displaystyle {\bar {x}}}$. Primero reelegimos los datos para obtener un bootstrap resample. Un ejemplo de la primera muestra podría parecerse a esto X₁* x₂, x₁, x₁₀, x₁₀, x₃, x₄, x₆, x₇, x₁, x₉. Hay algunos duplicados ya que un muestreo de arranque viene de muestreo con reemplazo de los datos. También el número de puntos de datos en un muestreo de arranque es igual al número de puntos de datos en nuestras observaciones originales. Luego computamos la media de este resplandor y obtenemos la primera bootstrap significa: μ₁*. Repetimos este proceso para obtener el segundo muestreo X₂* y computar el segundo bootstrap significa μ₂*. Si repetimos esto 100 veces, entonces tenemos μ₁* μ₂*,... μ₁₀₀*. Esto representa un distribución empírica de la muestra media. De esta distribución empírica, se puede derivar un intervalo de confianza de arranque para el propósito de la prueba de hipótesis.

En los problemas de regresión, el remuestreo de casos se refiere al esquema simple de remuestreo de casos individuales, generalmente filas de un conjunto de datos. Para los problemas de regresión, siempre que el conjunto de datos sea bastante grande, este esquema simple suele ser aceptable. Sin embargo, el método está abierto a críticas.

En los problemas de regresión, las variables explicativas suelen ser fijas o, al menos, se observan con más control que la variable de respuesta. Además, el rango de las variables explicativas define la información disponible a partir de ellas. Por lo tanto, volver a muestrear los casos significa que cada muestra de bootstrap perderá algo de información. Por lo tanto, se deben considerar procedimientos de bootstrap alternativos.

La bootstrapping se puede interpretar en un marco bayesiano utilizando un esquema que crea nuevos conjuntos de datos mediante el repeso de los datos iniciales. Dado un conjunto de ${\displaystyle N}$ puntos de datos, el peso asignado al punto de datos ${\displaystyle i}$ en un nuevo conjunto de datos ${\fnMicrosoft {\fnMicrosoft {\fnMicrosoft {\fnMicrosoft {\fnMicrosoft {\fn {\fnMicrosoft {\fnMicrosoft {\fnMicrosoft {\fnMicrosoft {\fnMicrosoft {\cHFF} } {J}$ es ${\displaystyle ¿Qué?$, donde ${\displaystyle \mathbf {x}$ es una lista ordenada de baja a alta ${\displaystyle N-1}$ números aleatorios distribuidos uniformemente en ${\displaystyle [0,1]}$, precedido por 0 y logrado por 1. Las distribuciones de un parámetro inferido de considerar muchos de esos conjuntos de datos ${\fnMicrosoft {\fnMicrosoft {\fnMicrosoft {\fnMicrosoft {\fnMicrosoft {\fn {\fnMicrosoft {\fnMicrosoft {\fnMicrosoft {\fnMicrosoft {\fnMicrosoft {\cHFF} } {J}$ son entonces interpretables como distribuciones posteriores en ese parámetro.

Bajo este esquema, se añade una pequeña cantidad de ruido aleatorio centrado en cero (generalmente normalmente distribuido) a cada observación resampada. Esto equivale a muestreo de una estimación de densidad del núcleo de los datos. Assume K para ser una función de densidad de núcleo simétrica con varianza de unidad. El estimador estándar del núcleo ${\fnMicrosoft Sans Serif}$ de ${\displaystyle f(x)}$ es

${\fnMicrosoft Sans Serif}={1\over nh}\sum} ¿Por qué?$

Donde ${\displaystyle h}$ es el parámetro de lijado. Y el estimador de la función de distribución correspondiente ${\fnMicrosoft Sans Serif} }$ es

${\fnMicrosoft Sans Serif} {\fnMicrosoft Sans Serif} {\fnMicrosoft Sans Serif} {\f} {\fnMicrosoft Sans Serif}$

Basándose en la suposición de que el conjunto de datos original es una realización de una muestra aleatoria de una distribución de un tipo paramétrico específico, en este caso un modelo paramétrico está equipado por parámetro θ, a menudo por probabilidad máxima, y muestras de números aleatorios se extraen de este modelo ajustado. Normalmente la muestra dibujada tiene el mismo tamaño de muestra que los datos originales. Entonces la estimación de la función original F se puede escribir como ${\displaystyle {\hat {\f}=F_{\hat {\theta} }$. Este proceso de muestreo se repite muchas veces en cuanto a otros métodos de arranque. Considerando la muestra centrada significa en este caso, la función de distribución original de la muestra aleatoria ${\displaystyle F_{\theta }$ es reemplazado por una muestra al azar de arranque con función ${\displaystyle F_{\hat {\theta }$, y la distribución de probabilidad ${\displaystyle {\bar {X_{n}}\mu} - ¿Qué?$ es aproximado por el de ${\displaystyle {\bar {\fn} {\fn} {\fn} {\fn} {\fn} {\fn} {\fn} {\fn} {\fn} {\fn} {\fn}} {\fn}}} {\fn} {\fn}}}}}}}}\m} {\fn}}}}}}}}}}}}}} {\m} {\m} {\m\m}}}}}}}}}\m}\m}}}}} {\m} {\m}} {\m}}}}}}\m}}}}}}}}}}}}}}}}}}}} {\m}} {\m}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}$, donde ${\displaystyle \mu ^{*}=\mu _{\hat {\theta }$, que es la expectativa correspondiente a ${\displaystyle F_{\hat {\theta }$. El uso de un modelo paramétrico en la etapa de muestreo de la metodología de arranque conduce a procedimientos diferentes a los obtenidos mediante la aplicación de la teoría estadística básica a la inferencia para el mismo modelo.

Otro enfoque para aplicar el método bootstrap en problemas de regresión es volver a muestrear los residuos. El método se desarrolla de la siguiente manera.

1. Fitar el modelo y conservar los valores ajustados ${\fnMicrosoft Sans Serif}$ y los residuos ${\displaystyle {\widehat {\varepsilon {\fnMicrosoft Sans Serif} {y\,}_{i},(i=1,\dotsn)}$.
2. Para cada par, (x_i, Sí._i), en que x_i es la variable explicativa (posiblemente multivariada), añadir un residual aleatorio, ${\displaystyle {\widehat {\varepsilon ¿Qué?$, al valor ajustado ${\fnMicrosoft Sans Serif}$. En otras palabras, crear variables de respuesta sintética ${\displaystyle Y... {y\fnMicrosoft Sans Serif} {\varepsilon ¿Qué?$ Donde j se selecciona aleatoriamente de la lista (1,..., n) para cada i.
3. Rechazar el modelo utilizando las variables de respuesta ficticias ${\displaystyle Y...$, y conservar las cantidades de interés (a menudo los parámetros, ${\displaystyle {\widehat {\fnMicrosoft} }$, estimado de la sintética ${\displaystyle Y...$).
4. Repita los pasos 2 y 3 un gran número de veces.

Este esquema tiene la ventaja de que conserva la información de las variables explicativas. Sin embargo, surge la pregunta de qué residuos se deben volver a muestrear. Los residuos brutos son una opción; otra son los residuos estudentizados (en la regresión lineal). Aunque existen argumentos a favor del uso de residuos estudentizados, en la práctica, a menudo hay poca diferencia y es fácil comparar los resultados de ambos esquemas.

Cuando los datos están correlacionados temporalmente, el método bootstrap directo destruye las correlaciones inherentes. Este método utiliza la regresión de proceso gaussiano (GPR) para ajustar un modelo probabilístico del que luego se pueden extraer réplicas. GPR es un método de regresión no lineal bayesiano. Un proceso gaussiano (PG) es una colección de variables aleatorias, cualquier número finito de las cuales tiene una distribución gaussiana (normal) conjunta. Un PG se define por una función media y una función de covarianza, que especifican los vectores de media y las matrices de covarianza para cada colección finita de variables aleatorias.

Modelo de regresión:

${\displaystyle y(x)=f(x)+\varepsilon\ \varepsilon \sim {\mathcal {N}(0,\sigma ^{2}),}$ ${\displaystyle \varepsilon }$ es un término de ruido.

Proceso gaussiano previo:

Para cualquier colección finita de variables, x₁,... x_n, los resultados de la función ${\displaystyle f(x_{1}),\ldotsf(x_{n}}$ se distribuyen conjuntamente según un Gaussian multivariado con media ${\displaystyle m=[m(x_{1}),\ldotsm(x_{n}]^{\intercal }}$ y matriz de covariancia ${\displaystyle (K)_{ij}=k(x_{i},x_{j}).$

Assume ${\displaystyle f(x)\sim {\mathcal}(m,k). }$ Entonces... ${\displaystyle y(x)\sim {\mathcal}(m,l)}$,

Donde ${\displaystyle l(x_{i},x_{j})=k(x_{i},x_{j})+\sigma ^{2}\delta (x_{i},x_{j}}}$, y ${\displaystyle \delta (x_{i},x_{j}}$ es la función estándar Kronecker delta.

Proceso gaussiano posterior:

Según el médico de cabecera, podemos conseguir

${\displaystyle [y(x_{1}),\ldotsy(x_{r}]\sim {\mathcal {N} {m_{0},K_{0}}}$,

Donde ${\displaystyle m_{0}=[m(x_{1}),\ldotsm(x_{r}]^{\intercal }}$ y ${\displaystyle (K_{0})_{ij}=k(x_{i},x_{j})+\sigma ^{2}\delta (x_{i},x_{j}).}$

Sea x₁^*,...,x_s^* otra colección finita de variables, es obvio que

${\displaystyle [y(x_{1}),\ldotsy(x_{r}),f(x_{1}^{*}),\ldotsf(x_{s}^{*}] }\sim {\mathcal {N} {\binom} {m_{0} {m_{*}} {\begin{pmatrix}K_{0} {0}}\K_{*}} {\c}} {\cH}} {\cH0}} {\cH0}}} {\cH00}}}}} {\f}}}}} {\cH0}}}}}}}}}}} {\m_} {\m_} {\m_} {\m_m_m_m_} {\m_}} {\m_g} {\m_}} {\m_}} {\m_}}}}} {\m_}}}}}}}} {\m_}}} {\m_} {\m_gngin{} {\pm_gngin{}}}}}}}}}}}}}}} {\m_}}}} {\pm_gncip {\m_}}}}}}}}}}}}}}}}} {\m_ }$,

Donde ${\displaystyle m_{*}=[m(x_{1}{*}),\ldotsm(x_{*}}^{\intercal }$, ${\displaystyle (K_{**})_{ij}=k(x_{i}{*},x_{j}^{*}) }$, ${\displaystyle (K_{*}_{ij}=k(x_{i},x_{j}^{*}).$

De acuerdo con las ecuaciones anteriores, las salidas y también se distribuyen conjuntamente según una gaussiana multivariante. Por lo tanto,

${\displaystyle [f(x_{1}^{*}),\ldotsf(x_{s}^{*}\intercal }\mid ([y(x)]^{\intercal }=y)\sim {\mathcalcal {N}(m_{\text{post}},K_{\text{post}}), }$

Donde ${\displaystyle Y= [y_{1}, ...,y_{r} {\intercal }$, ${\displaystyle m_{\text{post}=m_{*}+K_{*} {\fnMicroc} [K_{O}+\sigma ^{2}I_{r} {-1}(y-m_{0})}$, ${\displaystyle ¿Qué? }(K_{O}+\sigma ¿Qué?$, y ${\displaystyle I_{r}$ es ${\displaystyle r\times r}$ matriz de identidad.

El bootstrap salvaje, propuesto originalmente por Wu (1986), es adecuado cuando el modelo exhibe heteroskedasticidad. La idea es, como el bootstrap residual, dejar a los regresores en su valor de muestra, pero para reelaborar la variable de respuesta basada en los valores residuales. Es decir, para cada réplica, uno compute un nuevo ${\displaystyle y}$ basado en

${\displaystyle Y... {y\fnMicrosoft Sans Serif} {\varepsilon {\fnMicrosoft Sans Serif}$

así que los residuos se multiplican al azar por una variable aleatoria ${\displaystyle V_{i}$ con media 0 y diferencia 1. Para la mayoría de las distribuciones ${\displaystyle V_{i}$ (pero no de Mammen), este método asume que la distribución residual 'verdadera' es simétrica y puede ofrecer ventajas sobre muestreo residual simple para tamaños de muestra más pequeños. Se utilizan diferentes formas para la variable aleatoria ${\displaystyle V_{i}$, como

• Distribución normal estándar

• A distribution suggested by Mammen (1993).

${\displaystyle v_{i}={\begin{cases}-({\sqrt {5}}-1)/2 {\text{with probability }}({\sqrt {5}}+1)/(2{\sqrt {5}),\({\sqrt {5}}+1)/2 Due{{=with probability } {2} {\sq} {5} {5} {} {}}} {}}}}}} {} {}} {\c}}}} {\c}}}} {\c}}}}}} {\c\c\c\c\c\c\c\c\c\c\c\c\c\c\c\c\c\c\cH00}}}}}}}}}}} {\c\c\c\c\c\c\c\c\c\c\c\cH00}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}} {5})\end{cases}}$

Aproximadamente, la distribución de Mammen es:

${\displaystyle v_{i}={\begin{cases}-0.6180\quad {\text{(with a 0 in the units' place)}} {\text{with probability }0.7236,\+1.6180\quad {\text{(with a 1 in the units' place)}}}} {\text{with probability }0.2764}\endcases} {}{\begin {}{\begin{\begin{\begin{\begin{\begin{\begin{\begin{\begin{\f}{\f}\f}\f}}}}}}}}}={\f}}}}}}}}={\begin {\f}}}}}}={\f}}}={\begin{\f}}}}}}}}}}}}}={\begin{\begin{\begin{\begin{\begin{\begin{\f}}={\f}}}}}}}}$

• O la distribución más simple, vinculada a la distribución Rademacher:

${\displaystyle v_{i}={\begin{cases}-1 }1/2,\+1 }1/2.$

El bootstrap de bloques se utiliza cuando los datos, o los errores de un modelo, están correlacionados. En este caso, un remuestreo simple o residual fallará, ya que no es capaz de replicar la correlación en los datos. El bootstrap de bloques intenta replicar la correlación mediante el remuestreo dentro de bloques de datos (consulte Bloqueo (estadísticas)). El bootstrap de bloques se ha utilizado principalmente con datos correlacionados en el tiempo (es decir, series temporales), pero también se puede utilizar con datos correlacionados en el espacio o entre grupos (los llamados datos de clúster).

En el arranque por bloques (simple), la variable de interés se divide en bloques que no se superponen.

En el bootstrap de bloques móviles, introducido por Künsch (1989), los datos se dividen en n − b + 1 bloques superpuestos de longitud b: la observación 1 a b será el bloque 1, la observación 2 a b + 1 será el bloque 2, etc. Luego, de estos bloques n − b + 1, se extraerán al azar n/b bloques con reemplazo. Luego, al alinear estos n/b bloques en el orden en que fueron seleccionados, se obtendrán las observaciones bootstrap.

Este método de arranque funciona con datos dependientes, sin embargo, las observaciones que se han realizado con este método ya no serán estacionarias por construcción. Sin embargo, se ha demostrado que variar aleatoriamente la longitud del bloque puede evitar este problema. Este método se conoce como el método de arranque estacionario. Otras modificaciones relacionadas con el método de arranque de bloques móviles son el método de arranque markoviano y un método de arranque estacionario que combina bloques subsiguientes en función de la coincidencia de la desviación estándar.

Vinod (2006) presenta un método que utiliza el método bootstrap para datos de series temporales utilizando principios de máxima entropía que satisfacen el teorema ergódico con restricciones que preservan la media y la masa. Existe un paquete R, meboot, que utiliza el método y que tiene aplicaciones en econometría y ciencias de la computación.

Los datos de conglomerados describen datos en los que se observan muchas observaciones por unidad. Esto podría ser observar muchas empresas en muchos estados o observar a estudiantes en muchas clases. En tales casos, la estructura de correlación se simplifica y, por lo general, se supone que los datos están correlacionados dentro de un grupo/conglomerado, pero que son independientes entre grupos/conglomerados. La estructura del bootstrap de bloques se obtiene fácilmente (donde el bloque solo corresponde al grupo) y, por lo general, solo se vuelven a muestrear los grupos, mientras que las observaciones dentro de los grupos se dejan sin cambios. Cameron et al. (2008) analizan esto para los errores agrupados en la regresión lineal.

El bootstrap es una técnica potente, aunque puede requerir recursos de computación sustanciales, tanto en tiempo como en memoria. Se han desarrollado algunas técnicas para reducir esta carga. Por lo general, se pueden combinar con muchos de los diferentes tipos de esquemas Bootstrap y con varias opciones de estadísticas.

La mayoría de los métodos de bootstrap son algoritmos vergonzosamente paralelos. Es decir, la estadística de interés para cada muestra de bootstrap no depende de otras muestras de bootstrap. Por lo tanto, dichos cálculos se pueden realizar en CPU o nodos de cómputo separados y los resultados de los nodos separados se agregan finalmente para el análisis final.

El bootstrap no paramétrico muestra elementos de una lista de tamaño n con recuentos extraídos de una distribución multinomial. Si ${\displaystyle W_{i}$ denota el elemento número de veces que se incluye en una muestra de bootstrap dada, entonces cada ${\displaystyle W_{i}$ se distribuye como una distribución binomial con ensayos n y media 1, pero ${\displaystyle W_{i}$ no es independiente de ${\displaystyle W_{j}$ para ${\displaystyle i\neq j}$.

El bootstrap Poisson dibuja muestras asumiendo todo ${\displaystyle W_{i}$'s son independientes e idénticamente distribuidos como variables Poisson con media 1. La justificación es que el límite de la distribución binomial es Poisson:

${\displaystyle \lim _{n\to \infty }\operatorname {Binomial} (n,1/n)=\operatorname {Poisson} (1)}$

Hanley y MacGibbon propusieron el método bootstrap de Poisson como potencialmente útil para quienes no son estadísticos y utilizan programas como SAS y SPSS, que no contaban con los paquetes bootstrap de los lenguajes de programación R y S-Plus. Los mismos autores informan que, para un número n suficientemente grande, los resultados son relativamente similares a las estimaciones bootstrap no paramétricas, pero continúan señalando que el método bootstrap de Poisson ha tenido un uso mínimo en aplicaciones.

Otra ventaja propuesta del bootstrap Poisson es la independencia de la ${\displaystyle W_{i}$ hace que el método sea más fácil de aplicar para grandes conjuntos de datos que deben ser procesados como secuencias.

Una manera de mejorar en el bootstrap Poisson, denominado "botstrap secuencial", es tomando las primeras muestras para que la proporción de valores únicos sea ♥ 0.632 del tamaño de la muestra original n. Esto proporciona una distribución con características empíricas principales que están a una distancia ${\displaystyle O(n^{3/4}}$. La investigación empírica ha demostrado que este método puede producir buenos resultados. Esto está relacionado con el método de arranque reducido.

Para conjuntos de datos masivos, a menudo es computacionalmente prohibitivo mantener todos los datos de la muestra en memoria y resample de los datos de la muestra. La Bolsa de Bootstraps Pequeños (BLB) proporciona un método de datos pre-agregantes antes de arrancar para reducir las restricciones computacionales. Esto funciona partiendo los datos establecidos en ${\displaystyle b}$ cubos de tamaño igual y agregando los datos dentro de cada cubo. Este conjunto de datos pre-agregado se convierte en los nuevos datos de muestra sobre los cuales extraer muestras con reemplazo. Este método es similar al Block Bootstrap, pero las motivaciones y definiciones de los bloques son muy diferentes. Bajo ciertas suposiciones, la distribución de la muestra debe aproximarse al escenario de arranque completo. Una limitación es el número de cubos ${\displaystyle b=n^{\gamma }$Donde ${\displaystyle \gamma \in [0.5,1]}$ y los autores recomiendan el uso de ${\displaystyle B=n^{0.7}$ como solución general.

La distribución bootstrap de un estimador puntual de un parámetro de población se ha utilizado para producir un intervalo de confianza bootstrap para el valor verdadero del parámetro si el parámetro puede escribirse como una función de la distribución de la población.

Los parámetros de población se estiman con muchos estimadores puntuales. Las familias populares de estimadores puntuales incluyen estimadores de varianza mínima sin sesgo de media, estimadores sin sesgo de mediana, estimadores bayesianos (por ejemplo, la moda, la mediana y la media de la distribución posterior) y estimadores de máxima verosimilitud.

Según la teoría asintótica, un estimador puntual bayesiano y un estimador de máxima verosimilitud tienen un buen rendimiento cuando el tamaño de la muestra es infinito. Para problemas prácticos con muestras finitas, pueden ser preferibles otros estimadores. La teoría asintótica sugiere técnicas que a menudo mejoran el rendimiento de los estimadores bootstrap; el bootstrap de un estimador de máxima verosimilitud a menudo puede mejorarse utilizando transformaciones relacionadas con cantidades fundamentales.

La distribución bootstrap de un estimador de parámetros se utiliza a menudo para calcular intervalos de confianza para su parámetro de población. Se han propuesto diversos métodos para construir los intervalos de confianza, aunque no hay acuerdo sobre cuál es el mejor método.

El estudio de los métodos de intervalos de confianza bootstrap de DiCiccio y Efron y el debate consiguiente enumeran varias propiedades deseables de los intervalos de confianza, que generalmente no se cumplen todas simultáneamente.

• Transformación invariante - los intervalos de confianza de los datos transformados de arranque (por ejemplo, tomando el logaritmo) sería idealmente lo mismo que transformar los intervalos de confianza de arrancar los datos no traducidos.
• Los intervalos de confianza deben ser válido o coherente, es decir, la probabilidad de que un parámetro esté en un intervalo de confianza con nivel nominal ${\displaystyle 1-\alpha }$ debe ser igual o al menos converger en probabilidad de ${\displaystyle 1-\alpha }$. Estos últimos criterios son refinados y ampliados utilizando el marco de Hall. Las refinaciones son para distinguir entre métodos basados en la rapidez con que la probabilidad de cobertura verdadera se acerca al valor nominal, donde un método es (utilizando la terminología de DiCiccio y Efron) primer orden preciso si el término de error en la aproximación es ${\displaystyle O(1/{\sqrt {n}}}$ y segundo orden preciso si el término de error es ${\displaystyle O(n^{-1}}$. Además, los métodos se distinguen por la velocidad con la que el punto crítico de arranque estimado converge al verdadero (no conocido) punto, y un método es segundo orden correcto cuando esta tasa es ${\displaystyle O_{p}(n^{-3/2})}$.
• Gleser en la discusión del documento argumenta que una limitación de las descripciones asintoticas en la bala anterior es que la ${\displaystyle O(\cdot)}$ los términos no son necesariamente uniformes en los parámetros o la verdadera distribución.

• Bias: La distribución del bootstrap y la muestra pueden estar en desacuerdo sistemáticamente, en cuyo caso puede ocurrir sesgo.

  Si la distribución de bootstrap de un estimador es simétrica, entonces se utiliza la confianza-intervalo percentil a menudo; tales intervalos son apropiados especialmente para los estimadores medianamente no imparciales de riesgo mínimo (con respecto a una función de pérdida absoluta). La parcialidad en la distribución de arranque dará lugar a sesgos en el intervalo de confianza.

  De lo contrario, si la distribución de bootstrap es no simétrica, los intervalos de confianza percentil son a menudo inapropiados.

Existen varios métodos para construir intervalos de confianza a partir de la distribución bootstrap de un parámetro real:

• Botas básicas, también conocido como Intervalo percentil inverso. El bootstrap básico es un simple esquema para construir el intervalo de confianza: uno simplemente toma los quantiles empíricos de la distribución de arranque del parámetro (ver Davison e Hinkley 1997, equ. 5.6 p. 194):

${\displaystyle (2{\widehat {\theta}}-\theta _{(1-\alpha ################################################################################################################################################################################################################################################################ }$ Donde ${\displaystyle \theta _{(1-\alpha /2)}{*}}$ denota los ${\displaystyle 1-\alpha /2}$ percentil de los coeficientes de arranque ${\displaystyle \theta ^{*}$.

• Bota de percentil. El bootstrap percentil procede de una manera similar al bootstrap básico, utilizando percentiles de la distribución de bootstrap, pero con una fórmula diferente (nota la inversión de los quantiles izquierdo y derecho):

${\displaystyle (\theta _{\alpha /2)}{*}\theta _{(1-\alpha /2)}^{*} }$ Donde ${\displaystyle \theta _{(1-\alpha /2)}{*}}$ denota los ${\displaystyle 1-\alpha /2}$ percentil de los coeficientes de arranque ${\displaystyle \theta ^{*}$.

Véase Davison e Hinkley (1997, equ. 5.18 p. 203) y Efron y Tibshirani (1993, equ. 13.5 p. 171).

Este método se puede aplicar a cualquier estadística. Funcionará bien en los casos en que la distribución de bootstrap sea simétrica y centrada en la estadística observada y donde la estadística muestra es medianamente imparcial y tiene máxima concentración (o riesgo mínimo con respecto a una función de pérdida de valor absoluto). Al trabajar con pequeños tamaños de muestra (es decir, menos de 50), los intervalos básicos / inversos de confianza percentil y percentil para (por ejemplo) la estadística de varianza será demasiado estrecha. Así que con una muestra de 20 puntos, el intervalo de confianza del 90% incluirá la verdadera varianza sólo el 78% del tiempo. Los intervalos básicos / inversos de confianza percentil son más fáciles de justificar matemáticamente pero son menos exactos en general que intervalos de confianza percentil, y algunos autores desalientan su uso.

• Bota estudiantil. El bootstrap estudiantil, también llamado bootstrap-t, se computa analógicamente al intervalo de confianza estándar, pero reemplaza los quantiles de la aproximación normal o estudiantil por los quantiles de la distribución de la prueba t del estudiante (ver Davison e Hinkley 1997, equ. 5.7 p. 194 y Efron y Tibshirani 1993 equ 12.22, p. 160):

${\displaystyle ({\widehat {\theta {\fnMicrosoft Sans Serif} {\fnMicrosoft} {\fnMicrosoft {\f}} {\thetat}} {\cdot {\f}} {\cdot {\fnMicrosoft {\fnK}}}} {\thetat}} {\cdot}} {\cdot} {\cdot}}} {\cdot} {\cdot} {\cdot}} {\cdot}}}}} {\cdot} {\cdot}}}} {\cdot}} {\c}} {\cdot}} {\c}}}}}} {\cdot\cdot}} {\cdot}}} {\cdot}} {\cdot}}} {\cdot\cdot}}} {\cdot} {\cdot {\cdot\cdot} {\cdot} {\cdot} {\cdot}} },{\widehat {\theta {\fnMicrosoft Sans Serif}}}$ Donde ${\displaystyle t_{(1-\alpha /2)} {}} {}}}$ denota los ${\displaystyle 1-\alpha /2}$ percentil de la prueba t del estudiante ${\displaystyle t^{*}=({\widehat {\theta {\fnMicrosoft Sans Serif} {\fnMicrosoft Sans Serif} {\fnMicrosoft Sans Serif} {\text{se} {\fnK} {\fnMicrosoft} {\fnMicrosoft}} {\\fnK}}} {\\fnMicrosoft}} {\f}}} {\fnMicrosoft}}} {\fnK}}} {\f}}} {\\\fnMicrosoft}}}}}} {\\\f}}}}}}}}}}}}}}}}}}}\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\fnH\\\\\\\\\\\\\\\\\\\\fnH\\\\fnH\\\\\\\\\\\\\\\\\\\fnH\\\\\\\\\fnH\fn\fnH\\\\\\\\\\\\fnH\\\\\fn {\theta\,}}} {}}} {\Theta}}}}}} {\Theta \}}}}}} {\Theta {}}}}}}} {\Theta {\theta}}}}}}}}}}}}}}}} {}}}}}}}} {}}}}}} {\Theta}}}}}}}}} {\$, y ${\displaystyle {\widehat {\text{se}}_{\theta }$ es el error estándar estimado del coeficiente en el modelo original.

La prueba estudiantil goza de propiedades óptimas ya que la estadística que se arranca es pivotal (es decir, no depende de los parámetros de molestia, ya que la prueba t sigue asintomáticamente una distribución N(0,1)), a diferencia del bootstrap percentil.

• Botín corregido por Bias – se ajusta para el sesgo en la distribución de arranque.
• Botín acelerado – El bootstrap corregido y acelerado (BCa), por Efron (1987), se ajusta tanto para el sesgo como para el aguijón en la distribución de arranque. Este enfoque es preciso en una amplia variedad de ajustes, tiene requisitos de cálculo razonables y produce intervalos razonablemente estrechos.

Efron y Tibshirani sugieren el siguiente algoritmo para comparar los medios de dos muestras independientes: Vamos. ${\displaystyle x_{1},\ldotsx_{n}$ ser una muestra aleatoria de la distribución F con medio de muestra ${\displaystyle {\bar {x}}}$ y variación de la muestra ${\displaystyle \sigma _{x}{2}}$. Vamos. ${\displaystyle y_{1},\ldotsy_{m}$ ser otra muestra aleatoria independiente de la distribución G con media ${\displaystyle {\bar {y}}}$ y diferencia ${\displaystyle \sigma _{y}{2}$

1. Calcular la estadística de prueba ${\displaystyle {\fnMicroc {\fnh} {\fnh} {\fnh} {\fnh} {\sigma} ¿Por qué? - Sí.$
2. Crear dos nuevos conjuntos de datos cuyos valores ${\displaystyle x_{i}=x_{i}-{\bar {x}+{\bar {z}}$ y ${\displaystyle Y... {y} {\fn} {\fnK}} {\fnK}}} {\fn}} {\fn}} {\fn}} {\fn}}} {\fn}}}}}}}} {\\fn}}}}} {\\\\\\\\\\\\\\\\\\\fn}}}}}}}}}}}}}\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\fn}\\\\\\\\\\\\\\\\\\\\\\\\fn}\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\fn$ Donde ${\displaystyle {\bar}}}$ es la media de la muestra combinada.
3. Dibujar una muestra al azar (${\displaystyle #$) de tamaño ${\displaystyle n}$ con sustitución de ${\displaystyle x_{i}}$ y otra muestra al azar (${\displaystyle Y...$) de tamaño ${\displaystyle m}$ con sustitución de ${\displaystyle y_{i}}$.
4. Calcular la estadística de prueba ${\displaystyle t^{*}={\fc {\bar {\f}}-{\bar {\f}}}} {\sqrt}}}} {\sqrt}}} {\f}}}}} {\f}}}}}} {\f}}}}} {\f}}}}} {\f}}}}}} {\ {\sigma _{x}{*2}/n+\sigma ¿Qué?$
5. Repetición 3 y 4 ${\displaystyle B}$ veces (por ejemplo. ${\displaystyle B=1000}$) para recoger ${\displaystyle B}$ valores de la estadística de prueba.
6. Estimación del valor p ${\displaystyle p={\frac {\fnMicroc} ¿Qué? } {B}}$ Donde ${\displaystyle I '{\text{condition}}=1}$ cuando condición es verdad y 0 de lo contrario.

En 1878, Simon Newcomb realizó observaciones sobre la velocidad de la luz. El conjunto de datos contiene dos valores atípicos, que influyen en gran medida en la media de la muestra. (La media de la muestra no necesita ser un estimador consistente para ninguna media de la población, porque no es necesario que exista una media para una distribución de cola pesada). Una estadística bien definida y robusta para la tendencia central es la mediana de la muestra, que es consistente y no tiene sesgo en relación con la mediana de la población.

La distribución de bootstrap para los datos de Newcomb aparece abajo. Podemos reducir la discrepancia de la distribución de arranque añadiendo una pequeña cantidad de ruido aleatorio a cada muestra de arranque. Una opción convencional es añadir ruido con una desviación estándar de ${\displaystyle \sigma /{\sqrt {n}}$ para un tamaño de muestra n; este ruido a menudo se extrae de una distribución de Student-t con n-1 grados de libertad. Esto resulta en un estimador aproximadamente imparcial para la varianza de la media de la muestra. Esto significa que las muestras tomadas de la distribución de arranque tendrán una varianza que es, en promedio, igual a la varianza de la población total.

A continuación se muestran los histogramas de la distribución bootstrap y de la distribución bootstrap suavizada. La distribución bootstrap de la mediana de la muestra tiene solo una pequeña cantidad de valores. La distribución bootstrap suavizada tiene un respaldo más rico. Sin embargo, tenga en cuenta que si el procedimiento bootstrap suavizado o estándar es favorable depende de cada caso y se muestra que depende tanto de la función de distribución subyacente como de la cantidad que se está estimando.

En este ejemplo, el intervalo de confianza del 95 % (percentil) para la mediana de la población es (26, 28,5), que está cerca del intervalo de confianza para (25,98, 28,46) para el bootstrap suavizado.

El bootstrap se distingue de:

• el procedimiento de jackknife, utilizado para estimar los sesgos de las estadísticas de muestra y para estimar las diferencias, y
• cruza-validación, en la que los parámetros (por ejemplo, pesos de regresión, cargas de factor) que se estiman en un subsamplo se aplican a otro subsample.

Para más detalles, consulte el remuestreo.

La agregación bootstrap (bagging) es un metaalgoritmo basado en promediar las predicciones de modelos obtenidas a partir de modelos entrenados en múltiples muestras bootstrap.

En situaciones en las que se puede idear una estadística obvia para medir una característica requerida utilizando sólo un pequeño número, r, de elementos de datos, se puede formular una estadística correspondiente basada en la muestra completa. Dada una estadística de r-muestra, se puede crear una estadística de n-muestra mediante algo similar al bootstrap (tomando el promedio de la estadística sobre todas las submuestras de tamaño r). Se sabe que este procedimiento tiene ciertas buenas propiedades y el resultado es una estadística U. La media y la varianza de la muestra tienen esta forma, para r = 1 y r = 2.

El bootstrap tiene, en determinadas condiciones, propiedades asintóticas deseables. Las propiedades asintóticas descritas con más frecuencia son la convergencia débil/consistencia de las trayectorias de muestra del proceso empírico bootstrap y la validez de los intervalos de confianza derivados del bootstrap. Esta sección describe la convergencia del bootstrap empírico.

Este párrafo resume descripciones más completas de la convergencia estocástica en van der Vaart y Wellner y Kosorok. El bootstrap define un proceso estocástico, una colección de variables aleatorias indexadas por algún conjunto ${\displaystyle T}$, donde ${\displaystyle T}$ es típicamente la línea real (${\displaystyle \mathbb {R}$) o una familia de funciones. Procesos de interés son aquellos con trayectorias de muestra ligadas, es decir, caminos de muestra en L-infinity (${\displaystyle \ell ^{\infty}(T)}$), el conjunto de todas las funciones uniformemente ligadas de ${\displaystyle T}$ a ${\displaystyle \mathbb {R}$. Cuando está equipado con la distancia uniforme, ${\displaystyle \ell ^{\infty}(T)}$ es un espacio métrico, y cuando ${\displaystyle T=\Mathbb {R}$, dos subespacios de ${\displaystyle \ell ^{\infty}(T)}$ son de particular interés, ${\displaystyle C[0,1]}$, el espacio de todas las funciones continuas de ${\displaystyle T}$ al intervalo de unidad [0,1], y ${\displaystyle D[0,1]}$, el espacio de todas las funciones de cadlag desde ${\displaystyle T}$ [0,1]. Esto es porque ${\displaystyle C[0,1]}$ contiene las funciones de distribución para todas las variables aleatorias continuas, y ${\displaystyle D[0,1]}$ contiene las funciones de distribución para todas las variables aleatorias. Declaraciones sobre la consistencia del bootstrap son declaraciones sobre la convergencia de los caminos de muestra del proceso de arranque como elementos aleatorios del espacio métrico ${\displaystyle \ell ^{\infty}(T)}$ o algún subespacial de ellos, especialmente ${\displaystyle C[0,1]}$ o ${\displaystyle D[0,1]}$.

Horowitz en una revisión reciente define coherencia como: el estimador de arranque ${\displaystyle G_{n}(\cdotF_{n}}$ es consistente [para una estadística ${\displaystyle T_{n}$Si, por cada uno ${\displaystyle F_{0}$, ${\displaystyle \sup _{\tau }Prim_{n}(\tauF_{n})-G_{\infty }(\tauF_{0})$ converge en probabilidad a 0 como ${\displaystyle n\to \infty }$, donde ${\displaystyle F_{n}$ es la distribución de la estadística de interés en la muestra original, ${\displaystyle F_{0}$ es la verdadera pero desconocida distribución de la estadística, ${\displaystyle G_{\infty}(\tauF_{0}}$ es la función de distribución asintotica ${\displaystyle T_{n}$, y ${\displaystyle \tau }$ es la variable de indexación en la función de distribución, es decir, ${\displaystyle P(T_{n}\leq \tau)=G_{n}(\tauF_{0})}$. Esto a veces se llama más específicamente consistencia relativa a la distancia Kolmogorov-Smirnov.

Horowitz continúa recomendando usar un teorema de Mammen que facilita la verificación de las condiciones necesarias y suficientes para la coherencia de las estadísticas de un determinado formulario común. En particular, ${\displaystyle {X_{i}:i=1,\ldotsn}}$ Sé la muestra al azar. Si ${\displaystyle T_{n}={\frac {\sum ¿Por qué? ♪♪$ para una secuencia de números ${\displaystyle T_{n}$ y ${\displaystyle \sigma _{n}$, entonces la estimación de arranque de la función de distribución acumulativa estima la función de distribución acumulativa empírica si y sólo si ${\displaystyle T_{n}$ converge en la distribución a la distribución normal estándar.

La convergencia en probabilidad (externa) como se describió anteriormente también se denomina consistencia débil. También se puede demostrar con suposiciones ligeramente más fuertes que el bootstrap es fuertemente consistente, donde la convergencia en probabilidad (externa) se reemplaza por convergencia (externa) casi con seguridad. Cuando solo se describe un tipo de consistencia, generalmente se trata de consistencia débil. Esto es adecuado para la mayoría de las aplicaciones estadísticas, ya que implica que las bandas de confianza derivadas del bootstrap son asintóticamente válidas.

En casos más simples, es posible utilizar directamente el teorema del límite central para demostrar la consistencia del procedimiento bootstrap para estimar la distribución de la media de la muestra.

Concretamente, consideremos ${\displaystyle X_{n1},\ldotsX_{nn}$ independiente idéntica distribución de variables aleatorias con ${\displaystyle \mathbb {E} [X_{n1}=\mu }$ y ${\displaystyle {\text{Var}[X_{n1}=\sigma ^{2}traducido\infty$ para cada uno ${\displaystyle n\geq 1}$. Vamos. ${\displaystyle {\bar {X}_{n}=n^{-1}(X_{n1}+\cdots +X_{nn}}}$. Además, para cada ${\displaystyle n\geq 1}$, condicional en ${\displaystyle X_{n1},\ldotsX_{nn}$, vamos ${\displaystyle ¿Qué?$ ser variables aleatorias independientes con distribución igual a la distribución empírica ${\displaystyle X_{n1},\ldotsX_{nn}$. Esta es la secuencia de muestras de arranque.

Entonces se puede demostrar que $${\displaystyle \sup _{\tau \in \mathbb [R] } 'izquierda de la vidaP^{*}\left({\frac {\fn} {\fn} {\fn} {\fn} {\fn} {\fn}}} {\fn}} {\fn} {\fn}}} {\fn} {\fn} {\fn} {\fn}}} {\fn} {\fn}}}}} {\fn\fn} {\fn}}}}\fn}}}}}}}}}}} {\f}}}}}} {\f} {\f} {\f}\f} {\f} {\f} {\f} {\fn}\f}\fn}}}}}}}}}}}}}}}}}}}}}}}} {\f} {\f} {\fn}}}}}}}}}}}}}}}} {\f}}}}}}}}}}}}}}}}}}}}}}}}}}} {\f}}}}}}}} {\fn}}\leq \tau \right)-P\left({\frac {\sqrt {n}({\bar {X}_{n}-\mu)}{\sigma }\leq \tau \right)\derechaptada\to 0{\bability as }n\to \infty}$$Donde ${\displaystyle P^{*}$ representa la probabilidad condicional ${\displaystyle X_{n1},\ldotsX_{nn}$, ${\displaystyle n\geq 1}$, ${\displaystyle {\bar {X}_{*}=n^{-1}(X_{n1}{*}+\cdots +X_{nn}^{*} }$, y ${\displaystyle {\hat {\sigma} }_{n} {2}=n^{-1}\sum ¿Qué? {X}_{n}} {2}}$.

Para ver esto, note que ${\displaystyle (X_{ni}} {\bar {X}_{n})/{\sqrt {\fn} {\fn} {\fn} {\fn}} {\fn\fn} {\fn}} {\fn}} {\fn}}} {\fn}}} {\fn}}} {\fn}} {\fn}} {\fn\fn\fn\fn\fn\fn\fn}}}} {\fn\fn}}}}}}}} {\fn\fn\fn\fn\fn\fn\fn\fn}}}} {\fn\fn\fn}}}}\fn\fn\fn\fn\fn\fn\fn\fn\fn\fn\fn\fn}} {\fn\fn\fn\fn\fn\fn}} {\fn\fn\fn}}\fn\fn\fn\fn}\\fn\fn}} {\fn\ } {n}$ satisface la condición de Lindeberg, así que el CLT sostiene.

El teorema de Glivenko-Cantelli proporciona una base teórica para el método bootstrap.

• Precisión y precisión
• Bootstrap aggregating
• Bootstrapping
• Preferencia empírica
• Imputación (estadística)
• Confiabilidad (estadística)
• Reproducibilidad
• Reamplificación

• Diaconis P, Efron B (mayo de 1983). "Métodos intensivos en informática" (PDF). Scientific American. 248 (5): 116–130. Bibcode:1983SciAm.248e.116D. doi:10.1038/cientamerican0583-116. Archivado desde el original (PDF) on 2016-03-13. Retrieved 2016-01-19. popular-ciencia
• Efron B (1981). "Nonparametric estimates of standard error: The jackknife, the bootstrap and other methods". Biometrika. 68 (3): 589-599. doi:10.1093/biomet/68.3.589. JSTOR 2335441.
• Hesterberg T, Moore DS, Monaghan S, Clipson A, Epstein R (2005). "Métodos de bootstrap y pruebas de permutación" (PDF). En David S. Moore, George McCabe (eds.). Introducción a la práctica de las estadísticasSoftware. Archivado desde el original (PDF) on 2006-02-15. Retrieved 2007-03-23.
• Efron B (1979). "Métodos de bootstrap: Otra mirada al chaknife". Los Anales de Estadística. 7: 1–26. doi:10.1214/aos/1176344552.
• Efron B (1982). El Jackknife, el Bootstrap, y otros planes de rescate. Society of Industrial and Applied Mathematics CBMS-NSF Monographs. 38. Filadelfia, Estados Unidos: Sociedad para las Matemáticas Industriales y Aplicadas.
• Efron B, Tibshirani RJ (1993). Introducción al Bootstrap. Monografías sobre estadísticas y probabilidad aplicada. Vol. 57. Boca Raton, Software Chapman & Hall.

• Davison AC, Hinley DV (1997). Bootstrap Methods and their Application. Cambridge Series in Statistical and Probabilistic Mathematics. Cambridge: Cambridge University Press. ISBN 9780511802843. software.
• Mooney CZ, Duval RD (1993). Bootstrapping: A Nonparametric Approach to Statistical Inference. Sage University Paper Series sobre aplicaciones cuantitativas en ciencias sociales. Vol. 07–095. Newbury Park, Sage.
• Wright D, London K, Field AP (2011). "Usando la estimación de bootstrap y el principio de plug-in para datos de psicología clínica". Journal of Experimental Psychopathology. 2 (2): 252-270. doi:10.5127/jep.013611.
• Gong G (1986). "Cross-validation, el jackknife, y el bootstrap: Excess error estimation in forward logistic regression". Journal of the American Statistical Association. 81 (393): 108–113. doi:10.1080/01621459.1986.10478245.