Prueba de Anderson-Darling

La prueba de Anderson-Darling es una prueba estadística que determina si una muestra determinada de datos se extrae de una distribución de probabilidad determinada. En su forma básica, la prueba supone que no hay parámetros que estimar en la distribución que se está probando, en cuyo caso la prueba y su conjunto de valores críticos no tienen distribución. Sin embargo, la prueba se utiliza con mayor frecuencia en contextos donde se prueba una familia de distribuciones, en cuyo caso es necesario estimar los parámetros de esa familia y tener esto en cuenta al ajustar el estadístico de prueba o sus valores críticos. Cuando se aplica para probar si una distribución normal describe adecuadamente un conjunto de datos, es una de las herramientas estadísticas más poderosas para detectar la mayoría de las desviaciones de la normalidad. Las pruebas de Anderson-Darling de muestra K están disponibles para probar si varias colecciones de observaciones pueden modelarse como provenientes de una sola población, donde no es necesario especificar la función de distribución. .

Además de su uso como prueba de ajuste para distribuciones, se puede utilizar en la estimación de parámetros como base para una forma de procedimiento de estimación de distancia mínima.

La prueba lleva el nombre de Theodore Wilbur Anderson (1918–2016) y Donald A. Darling (1915–2014), quienes la inventaron en 1952.

La prueba de muestra única

Las estadísticas de Anderson-Darling y Cramér-von Mises pertenecen a la clase de estadísticas de EDF cuadráticas (pruebas basadas en la función de distribución empírica). Si la distribución hipotetizada es ${\displaystyle F}$, y la función de distribución acumulada empírica (muestra) ${\displaystyle F_{n}$, entonces las estadísticas cuadráticas EDF miden la distancia entre ${\displaystyle F}$ y ${\displaystyle F_{n}$ por

${\displaystyle n\int _{-\infty } {\infty }(F_{n}(x)-F(x)^{2}\,w(x)\,dF(x),}$

Donde ${\displaystyle n}$ es el número de elementos en la muestra, y ${\displaystyle w(x)}$ es una función de ponderación. Cuando la función de ponderación es ${\displaystyle w(x)=1}$, la estadística es la estadística Cramér-von Mises. La prueba Anderson-Darling (1954) se basa en la distancia

${\displaystyle A^{2}=n\int ¿Por qué?$

que se obtiene cuando la función de peso ${\displaystyle w(x)=[F(x)\;(1-F(x)]^{-1}$. Así, en comparación con la distancia Cramér-von Mises, la distancia Anderson-Darling coloca más peso en las observaciones en la cola de la distribución.

Estadística de prueba básica

La prueba Anderson-Darling evalúa si una muestra viene de una distribución especificada. Hace uso del hecho de que, cuando se le da una distribución subyacente hipotetizada y asumiendo que los datos surgen de esta distribución, la función de distribución acumulativa (CDF) de los datos se puede suponer que sigue una distribución uniforme. Los datos pueden ser probados para la uniformidad con una prueba de distancia (Shapiro 1980). La fórmula para la estadística de prueba ${\displaystyle A}$ para evaluar si los datos ${\displaystyle \{Y_{1} ¿Qué?$ (nota que los datos deben ponerse en orden) provienen de un CDF ${\displaystyle F}$ es

${\displaystyle A^{2}=-n-S\,}$

dónde

${\displaystyle S=\sum - ¿Qué? {2i-1}{n}\left[\ln(F(Y_{i})+\ln \left(1-F(Y_{n+1-i})\right)}$

La estadística de prueba puede ser comparada con los valores críticos de la distribución teórica. En este caso, no se calculan parámetros en relación con la función de distribución acumulativa ${\displaystyle F}$.

Pruebas para familias de distribuciones

Esencialmente, se puede utilizar el mismo estadístico de prueba en la prueba de ajuste de una familia de distribuciones, pero luego se debe comparar con los valores críticos apropiados para esa familia de distribuciones teóricas y que también dependen del método utilizado para la estimación de parámetros.

Prueba de normalidad

Las pruebas empíricas han encontrado que la prueba Anderson-Darling no es tan buena como la prueba Shapiro-Wilk, pero es mejor que otras pruebas. Stephens encontró ${\displaystyle A^{2}$ ser una de las mejores estadísticas de la función de distribución empírica para detectar la mayoría de las salidas de la normalidad.

El cálculo difiere según lo que se sabe sobre la distribución:

• Caso 0: La media ${\displaystyle \mu }$ y la diferencia ${\displaystyle \sigma ^{2}$ ambos son conocidos.
• Caso 1: La diferencia ${\displaystyle \sigma ^{2}$ es conocido, pero el medio ${\displaystyle \mu }$ es desconocido.
• Caso 2: La media ${\displaystyle \mu }$ se sabe, pero la diferencia ${\displaystyle \sigma ^{2}$ es desconocido.
• Caso 3: Ambos medios ${\displaystyle \mu }$ y la diferencia ${\displaystyle \sigma ^{2}$ son desconocidos.

El n observaciones, ${\displaystyle X_{i}$Para ${\displaystyle i=1,\ldots n}$, de la variable ${\displaystyle X}$ debe ser ordenados tal que ${\displaystyle X_{1}\leq X_{2}\leq...\leq X_{n}$ y la notación en lo siguiente supone que X_i representan las observaciones ordenadas. Vamos.

${\displaystyle {\hat {\fnMicrosoft {\fnMicrosoft {\fnMicrosoft {\fnMicrosoft {\f} {\fnMicrosoft {\fnMicrosoft {\fnMicrosoft {\fnMicrosoft {\\fnMicrosoft {\f}\fnMicrosoft {\fnMicrosoft {\f}\f}\f}\fn\fn\\\\fn\\\fn\fn\\\\fn\fn\fn\fn\fn\\fn\\fn\\\\\\\\\\\fn\fn\\\\\\\\fn\\\\\\\\\\fn\\fn\\\\\\\fn\fn\\\fn\\\\fn\\\\fn\\\\\\\\\\\\\\\\\\\\\\\\fn\\\\\\fn\\ {\fnMicrosoft Sans Serif} {\fnMicrosoft Sans Serif} el medio es conocido. ¿Por qué?$

${\displaystyle {\hat {\sigma} }{2}={\begin{cases}\sigma ^{2}, reducida{\text{if the variation is known.}\\\{\frac {1}{n}}}\sum _{i=1} {n}(X_{i}-\mu)}{2}, limit{\if the variation is not known, but the mean is\c}\c\}}{2}}={2}}}={2}}}={2}}={2} {\c}}={2}={\c}={\c}={\c}={\c}}={\c}={\c}}}}}={\c}={\begin {\c} {\begin {\c}}}={\c}}={\begin {\begin {\c}={\c}}}}}={\c}}={\c}={\begin{\c}}}}={\c}}}}}}}}} {1}{n-1}\sum ¿Por qué?$

Los valores ${\displaystyle X_{i}$ están estandarizados para crear nuevos valores ${\displaystyle Y...$, dado por

${\displaystyle Y_{i}={\frac {X_{i}-{\hat {\fn} {\fnK} {\fnK}}} {\fn} {\fn}} {\fn\fn}}} {\fn\fn\fn\fn\fn\fn\f}}} {\fn\fn\fn\fn\fn\fn\fn\fn\f}}}}}}}}}}}}}}} {\fn\fn\fn\fn\fn\fn\fn\fn\fn\fn\fn\fn\fn\fn\fn\fn\fn\fn\fn\fn\fn\fn\fn\fn\fn\fn\fn\fn\fn\fn\fn\fn\fn\fn\fn\fn\fn\fn\fn\fn\fn\fn\fn\fn\fn\fn\ }}}$

Con el CDF normal estándar ${\displaystyle \Phi$, ${\displaystyle A^{2}$ se calcula utilizando

${\displaystyle A^{2}=-n-{\frac {1}{n}\sum _{i=1}{n}(2i-1)(\ln \Phi (Y_{i})+\ln(1-\Phi (Y_{n+1-i})). }$

Una expresión alternativa en la que solo se aborda una observación en cada paso de la suma es:

${\displaystyle A^{2}=-n-{\frac {1}{n}\sum [2i-1]\ln \Phi (Y_{i})+(2(n-i)+1)\ln(1-\Phi (Y_{i})\right].}$

Se puede calcular una estadística modificada utilizando

${\displaystyle A^{*2}={\begin{cases}A^{2}\left(1+{\frac {4}{n}-{\frac {25}{n^{2}}\right), Si la varianza y la media son desconocidas.$

Si ${\displaystyle A^{2}$ o ${\displaystyle A^{*2}$ excede un valor crítico dado, entonces la hipótesis de la normalidad es rechazada con algún nivel de significación. Los valores críticos se dan en el cuadro siguiente para valores ${\displaystyle A^{*2}$.

Nota 1: ${\displaystyle {\hat {\sigma} }$ = 0 o cualquier ${\displaystyle {\fnMicrosoft Sans Serif}$(0 o 1) entonces ${\displaystyle A^{2}$ no se puede calcular y es indefinido.

Nota 2: La fórmula de ajuste anterior está tomada de Shorack & Wellner (1986, p239). Es necesario tener cuidado al realizar comparaciones entre diferentes fuentes, ya que a menudo no se indica la fórmula de ajuste específica.

Nota 3: Stephens señala que la prueba mejora cuando los parámetros se calculan a partir de los datos, incluso si se conocen.

Nota 4: Marsaglia & Marsaglia proporciona un resultado más preciso para el Caso 0 al 85% y 99%.

Caso	n	15%	10%	5%	2.5%	1%
0	≥ 5	1.621	1.933	2.492	3.070	3.878
1			0.908	1.105	1.304	1.573
2	≥ 5		1.760	2.323	2.904	3.690
3	10	0.514	0,578	0.683	0,79	0.926
	20	0,528	0.591	0,704	0.815	0.969
	50	0,5446	0.616	0,7535	0.861	1.021
	100	0,595	0.631	0,7554	0.884	1.047
	${\displaystyle \infty }$	0.576	0.656	0,7887	0.918	1.092

Alternativamente, para el caso 3 anterior (tanto la media como la varianza se desconocen), D'Agostino (1986) en la Tabla 4.7 en la p. 123 y en las páginas 372–373 se proporciona la estadística ajustada:

${\displaystyle A^{*2}=A^{2}\left(1+{\frac {0.75}{n}}+{\frac {2.25}{n^{2}}}\right).}$

y la normalidad es rechazada si ${\displaystyle A^{*2}$ supera los 0,631, 0,754, 0.884, 1.047, o 1.159 en 10%, 5%, 2,5%, 1% y 0,5% niveles de significación, respectivamente; el procedimiento es válido para el tamaño de muestra por lo menos n=8. Las fórmulas para calcular los valores p para otros valores de ${\displaystyle A^{*2}$ se dan en la tabla 4.9 sobre la p. 127 en el mismo libro.

Pruebas para otras distribuciones

Arriba, se suponía que la variable ${\displaystyle X_{i}$ estaba siendo probado para la distribución normal. Cualquier otra familia de distribuciones puede ser probada, pero la prueba para cada familia se aplica mediante una modificación diferente de la estadística básica de prueba y esto se refiere a valores críticos específicos para esa familia de distribuciones. Las modificaciones de la estadística y tablas de valores críticos son dadas por Stephens (1986) para las distribuciones exponenciales, de valor extremo, Weibull, gamma, logística, Cauchy y von Mises. Las pruebas para la distribución log-normal (dos parámetros) se pueden implementar transformando los datos usando un logaritmo y utilizando la prueba anterior para la normalidad. Los detalles para las modificaciones necesarias a la estadística de prueba y para los valores críticos para la distribución normal y la distribución exponencial han sido publicados por Pearson & Hartley (1972, Tabla 54). Los detalles de estas distribuciones, con la adición de la distribución Gumbel, también son proporcionados por Shorack & Wellner (1986, p239). Los detalles para la distribución logística son proporcionados por Stephens (1979). Una prueba para la distribución Weibull (dos parámetro) se puede obtener utilizando el hecho de que el logaritmo de un variate Weibull tiene una distribución Gumbel.

Pruebas no paramétricas de muestras k

Fritz Scholz y Michael A. Stephens (1987) analizan una prueba, basada en la medida de concordancia entre distribuciones de Anderson-Darling, para determinar si un número de muestras aleatorias con tamaños de muestra posiblemente diferentes pueden haber surgido de la misma distribución, donde esta distribución no está especificada. El paquete R kSamples y el paquete Python Scipy implementan esta prueba de clasificación para comparar k muestras entre varias otras pruebas de clasificación similares.

Para ${\displaystyle k}$ muestra la estadística se puede calcular de la siguiente manera en el supuesto de que la función de distribución ${\displaystyle F_{i}$ de ${\displaystyle i}$-la muestra es continua

${\displaystyle A_{kN}{2}={\frac {1}{N}\sum - ¿Qué? {1}{n_{i}}\sum ¿Por qué? {NM_{ij}-jn_{i}}{2}{j(N-j)}}$

dónde

• ${\displaystyle No.$ es el número de observaciones en el ${\displaystyle i}$- la muestra
• ${\displaystyle N}$ es el número total de observaciones en todas las muestras
• ${\displaystyle Z_{1} obedeció\cdots #$ es la muestra ordenada
• ${\displaystyle M_{ij}$ es el número de observaciones en el ${\displaystyle i}$-la muestra que no es mayor que ${\displaystyle Z_{j}$.