Prueba G

format_list_bulleted Contenido keyboard_arrow_down

ImprimirCitar

Examen estadístico

En estadística, las pruebas G son pruebas de índice de probabilidad o de significación estadística de máxima verosimilitud que se utilizan cada vez más en situaciones en las que anteriormente se recomendaban las pruebas de chi-cuadrado.

Formulación

La fórmula general para G es

{displaystyle G=2sum _{i}{O_{i}cdot ln left({frac {O_{i}}{E_{i}}}right)},}

Donde ${textstyle O_{i}geq 0}$ es el recuento observado en una celda, $0}" xmlns="http://www.w3.org/1998/Math/MathML">Ei■0{textstyle E_{i} Confío0}0}" aria-hidden="true" class="mwe-math-fallback-image-inline mw-invert skin-invert" src="https://wikimedia.org/api/rest_v1/media/math/render/svg/4062eeb20ae9e7b43f0ec8ee6107d4a8f24dbb17" style="vertical-align: -0.671ex; width:6.776ex; height:2.509ex;"/>$ es el recuento esperado bajo la hipótesis nula, ${textstyle ln }$ denota el logaritmo natural, y la suma se toma sobre todas las células no vacías. El resultado ${textstyle G}$ se distribuye con chi-squared.

Además, el recuento total observado debe ser igual al recuento total esperado:

{displaystyle sum _{i}O_{i}=sum _{i}E_{i}=N}

{textstyle N}

Derivación

Podemos derivar el valor de la prueba G a partir de la prueba del índice de verosimilitud logarítmica donde el modelo subyacente es un modelo multinomial.

Supongamos que teníamos una muestra ${textstyle x=(x_{1},ldotsx_{m})}$ donde cada ${textstyle x_{i}}$ es el número de veces que un objeto de tipo ${textstyle i}$ fue observado. Además, dejemos ${textstyle n=sum _{i=1}^{m}x_{i}}$ sea el número total de objetos observados. Si asumimos que el modelo subyacente es multinomio, entonces la estadística de prueba se define por

{displaystyle ln left({frac {L({tilde {theta }}|x)}{L({hat {theta }}|x)}}right)=ln left({frac {prod _{i=1}^{m}{tilde {theta }}_{i}^{x_{i}}}{prod _{i=1}^{m}{hat {theta }}_{i}^{x_{i}}}}right)}

{textstyle {tilde {theta }}}

{displaystyle {hat {theta }}}

{textstyle {hat {theta }}_{i}}

{displaystyle {hat {theta }}_{i}={frac {x_{i}}{n}}}

{displaystyle {tilde {theta }}_{i}}

{displaystyle {tilde {theta }}_{i}={frac {e_{i}}{n}}}

{textstyle {tilde {theta }}}

{textstyle {hat {theta }}}

{displaystyle {begin{aligned}ln left({frac {L({tilde {theta }}|x)}{L({hat {theta }}|x)}}right)&=ln prod _{i=1}^{m}left({frac {e_{i}}{x_{i}}}right)^{x_{i}}\&=sum _{i=1}^{m}x_{i}ln left({frac {e_{i}}{x_{i}}}right)\end{aligned}}}

{textstyle e_{i}}

{textstyle E_{i}}

{textstyle x_{i}}

{textstyle O_{i}}

{textstyle -2}

${displaystyle {begin{alignedat}{2}G&=&;-2sum _{i=1}^{m}O_{i}ln left({frac {E_{i}}{O_{i}}}right)\&=&2sum _{i=1}^{m}O_{i}ln left({frac {O_{i}}{E_{i}}}right)end{alignedat}}}$

Heurísticamente, se puede imaginar ${displaystyle ~O_{i}~}$ como continuo y aproximado cero, en cuyo caso ${displaystyle ~O_{i}ln O_{i}to 0~,}$ y términos con cero observaciones pueden simplemente ser eliminados. Sin embargo, previstos contar en cada celda debe ser estrictamente mayor que cero para cada célula ( $0~forall ,i~}" xmlns="http://www.w3.org/1998/Math/MathML"> Ei■0 О О i {displaystyle ~E_{i} {0~forall ,i~}0~forall ,i~}" aria-hidden="true" class="mwe-math-fallback-image-inline mw-invert skin-invert" src="https://wikimedia.org/api/rest_v1/media/math/render/svg/9f4510a616f3579eac5ed3e60216a0b48ca46d63" style="vertical-align: -0.671ex; width:11ex; height:2.509ex;"/>$ ) para aplicar el método.

Distribución y uso

Dada la hipótesis nula de que las frecuencias observadas resultan de un muestreo aleatorio de una distribución con las frecuencias esperadas dadas, la distribución de G es aproximadamente una distribución chi-cuadrado, con el mismo número de grados de libertad como en la correspondiente prueba de chi-cuadrado.

Para muestras muy pequeñas, la prueba multinomial de bondad de ajuste y la prueba exacta de Fisher para tablas de contingencia, o incluso la selección de hipótesis bayesiana, son preferibles a la prueba G. McDonald recomienda utilizar siempre una prueba exacta (prueba exacta de bondad de ajuste, prueba exacta de Fisher) si el tamaño total de la muestra es inferior a 1000.

No hay nada mágico acerca de un tamaño de muestra de 1 000, es sólo un número redondo agradable que está bien dentro de la gama donde una prueba exacta, prueba de chi-square, y G– La prueba dará casi idéntico

p

valores. hojas de cálculo, calculadoras de páginas web, y SAS no debe tener ningún problema haciendo una prueba exacta en un tamaño de muestra de 1 000 .

John H. McDonald

Las

pruebas G se recomiendan al menos desde la edición de 1981 de Biometría, un libro de texto de estadística de Robert R. Sokal y F. James Rohlf.

Relación con otras métricas

Relación con la prueba de chi-cuadrado

Las pruebas de chi-cuadrado comúnmente utilizadas para determinar la bondad del ajuste de una distribución y la independencia en tablas de contingencia son, de hecho, aproximaciones del índice de probabilidad logarítmica en el que se basan las pruebas G.

La fórmula general para el estadístico de prueba chi-cuadrado de Pearson es

{displaystyle chi ^{2}=sum _{i}{frac {left(O_{i}-E_{i}right)^{2}}{E_{i}}}~.}

La aproximación de G por chi cuadrado se obtiene por un segundo orden Taylor expansión del logaritmo natural alrededor de 1 (ver #Derivation (chi-squared) abajo). Tenemos ${displaystyle Gapprox chi ^{2}}$ cuando el número observado cuenta ${displaystyle ~O_{i}~}$ están cerca de los conteos esperados ${displaystyle ~E_{i}~.}$ Cuando esta diferencia es grande, sin embargo, ${displaystyle ~chi ^{2}~}$ La aproximación comienza a descomponerse. Aquí, los efectos de los atípicos en los datos serán más pronunciados, y esto explica el por qué ${displaystyle ~chi ^{2}~}$ las pruebas fallan en situaciones con pocos datos.

Para muestras de un tamaño razonable, el G- La prueba y la prueba de chi-squared conducirán a las mismas conclusiones. Sin embargo, la aproximación a la distribución teórica de chi-squared para la G- La prueba es mejor que la de Pearson. En los casos en que $2cdot E_{i}~}" xmlns="http://www.w3.org/1998/Math/MathML"> Oi■2⋅ ⋅ Ei {displaystyle - ¿Qué? E_{i}2cdot E_{i}~}" aria-hidden="true" class="mwe-math-fallback-image-inline mw-invert skin-invert" src="https://wikimedia.org/api/rest_v1/media/math/render/svg/5e1ffc7c0eb966dc152f681e92d192504fa22cb5" style="vertical-align: -0.671ex; width:12.189ex; height:2.509ex;"/>$ para un caso celular G- La prueba siempre es mejor que la prueba de la quimera.

Para probar la bondad del beneficio G- La prueba es infinitamente más eficiente que la prueba de chi cuadrados en el sentido de Bahadur, pero las dos pruebas son igualmente eficientes en el sentido de Pitman o en el sentido de Hodges y Lehmann.

Derivación (chi-cuadrado)

Considere

{displaystyle G=2sum _{i}{O_{i}ln left({frac {O_{i}}{E_{i}}}right)}~,}

y dejar ${displaystyle O_{i}=E_{i}+delta _{i}}$ con ${displaystyle sum _{i}delta _{i}=0~,}$ para que el número total de cuentas siga siendo el mismo. En sustitución encontramos,

{displaystyle G=2sum _{i}{(E_{i}+delta _{i})ln left(1+{frac {delta _{i}}{E_{i}}}right)}~.}

Una expansión de Taylor ${displaystyle 1+{frac {delta _{i}}{E_{i}}}}$ se puede realizar utilizando ${displaystyle ln(1+x)=x-{frac {1}{2}}x^{2}+{mathcal {O}}(x^{3})}$ . El resultado es

{displaystyle G=2sum _{i}(E_{i}+delta _{i})left({frac {delta _{i}}{E_{i}}}-{frac {1}{2}}{frac {delta _{i}^{2}}{E_{i}^{2}}}+{mathcal {O}}left(delta _{i}^{3}right)right)~,}

y distribuyendo términos que encontramos,

{displaystyle G=2sum _{i}delta _{i}+{frac {1}{2}}{frac {delta _{i}^{2}}{E_{i}}}+{mathcal {O}}left(delta _{i}^{3}right)~.}

Ahora, usando el hecho de que ${displaystyle ~sum _{i}delta _{i}=0~}$ y ${displaystyle ~delta _{i}=O_{i}-E_{i}~,}$ podemos escribir el resultado,

{displaystyle ~Gapprox sum _{i}{frac {left(O_{i}-E_{i}right)^{2}}{E_{i}}}~.}

Relación con la divergencia de Kullback–Leibler

El G-La estadística más importante es proporcional a la divergencia Kullback-Leibler de la distribución teórica de la distribución empírica:

{displaystyle {begin{aligned}G&=2sum _{i}{O_{i}cdot ln left({frac {O_{i}}{E_{i}}}right)}=2Nsum _{i}{o_{i}cdot ln left({frac {o_{i}}{e_{i}}}right)}\&=2N,D_{mathrm {KL} }(o|e),end{aligned}}}

Donde N es el número total de observaciones y ${displaystyle o_{i}}$ y ${displaystyle e_{i}}$ son las frecuencias empíricas y teóricas, respectivamente.

Relación con la información mutua

Para el análisis de tablas de contingencia, el valor de G también se puede expresar en términos de información mutua.

Dejar

{displaystyle N=sum _{ij}{O_{ij}};}

{displaystyle ;pi _{ij}={frac {O_{ij}}{N}};}

{displaystyle ;pi _{i.}={frac {sum _{j}O_{ij}}{N}};}

, y

{displaystyle ;pi _{.j}={frac {sum _{i}O_{ij}}{N}};}

Entonces... G se puede expresar en varias formas alternativas:

{displaystyle G=2cdot Ncdot sum _{ij}{pi _{ij}left(ln(pi _{ij})-ln(pi _{i.})-ln(pi _{.j})right)},}

{displaystyle G=2cdot Ncdot left[H(r)+H(c)-H(r,c)right],}

{displaystyle G=2cdot Ncdot operatorname {MI} (r,c),,}

donde la entropía de una variable discreta al azar ${displaystyle X,}$ se define como

{displaystyle H(X)=-{sum _{xin {text{Supp}}(X)}p(x)log p(x)},,}

y dónde

{displaystyle operatorname {MI} (r,c)=H(r)+H(c)-H(r,c),}

es la información mutua entre el vector de fila r y el vector de columna c de la tabla de contingencia.

También se puede demostrar que la ponderación de frecuencia de documento inversa comúnmente utilizada para la recuperación de texto es una aproximación de G aplicable cuando la suma de filas para la consulta es mucho menor que la suma de filas para el resto de el corpus. De manera similar, el resultado de la inferencia bayesiana aplicada a una elección de distribución multinomial única para todas las filas de la tabla de contingencia tomadas en conjunto frente a la alternativa más general de un multinomial separado por fila produce resultados muy similares al estadístico G. .

Aplicación

La prueba McDonald–Kreitman en genética estadística es una aplicación de la G- Prueba.
Dunning presentó la prueba a la comunidad lingüística computacional donde ahora se utiliza ampliamente.
El programa R-scape (utilizado por Rfam) utiliza pruebas G para detectar la co-variación entre posiciones de alineación de secuencias RNA.

Software estadístico

En R se pueden encontrar implementaciones rápidas en los paquetes AMR y Rfast. Para el paquete AMR, el comando es g.test que funciona exactamente igual chisq.test de la base R. R también tiene la probabilidad. test Archivado 2013-12-16 en la función Wayback Machine en el Deducer Archivado 2012-03-09 en el paquete Wayback Machine. Nota: Fisher G-test in the GeneCycle Package of the R programming language (en inglés)fisher.g.test) no implementa el G-prueba como se describe en este artículo, pero más bien la prueba exacta de Fisher de la nariz blanca gaisiana en una serie de tiempo.
Otra aplicación R para calcular los valores estadísticos y p correspondientes de G es proporcionada por la entropía del paquete R. Los comandos son Gstat para la estadística estándar G y el valor p asociado y Gstatindep para la estadística G aplicada para comparar las distribuciones conjuntas y de productos con la independencia de prueba.
En SAS, uno puede conducir G-prueba aplicando el /chisq opción después de la proc freq.
En Stata, se puede realizar un G-prueba aplicando el lr opción después de la tabulate Comando.
En Java, uso org.apache.commons.math3.stat.inference.GTest.
En Python, uso scipy.stats.power_divergence con lambda_=0.

Contenido relacionado

Más resultados...