Valor p

En las pruebas de significación de hipótesis nulas, el valor p es la probabilidad de obtener resultados de la prueba al menos tan extremos como el resultado realmente observado, bajo el supuesto de que el la hipótesis nula es correcta. Un valor p muy pequeño significa que un resultado observado tan extremo sería muy improbable bajo la hipótesis nula. Aunque informar los valores p de las pruebas estadísticas es una práctica común en publicaciones académicas de muchos campos cuantitativos, la mala interpretación y el mal uso de los valores p están muy extendidos y han sido un tema importante en matemáticas y metaciencia. En 2016, la Asociación Estadounidense de Estadística (ASA) hizo una declaración formal de que los "valores p" no miden la probabilidad de que la hipótesis estudiada sea cierta, ni la probabilidad de que los datos hayan sido producidos por probabilidad aleatoria sola" y que "un valor p, o significancia estadística, no mide el tamaño de un efecto o la importancia de un resultado" o "evidencia sobre un modelo o hipótesis." Dicho esto, un grupo de trabajo de 2019 de la ASA emitió una declaración sobre significancia estadística y replicabilidad, que concluye con: Los "valores p" y las pruebas de significancia, cuando se aplican e interpretan adecuadamente, aumentan el rigor de las conclusiones extraídas de los datos."

Conceptos básicos

En las estadísticas, cada conjetura relativa a la distribución de probabilidad desconocida de una colección de variables aleatorias que representan los datos observados ${displaystyle X}$ en algún estudio se llama un Hipótesis estadística. Si declaramos una hipótesis solamente y el objetivo de la prueba estadística es ver si esta hipótesis es inquieto, pero no para investigar otras hipótesis específicas, entonces tal prueba se llama una prueba de hipótesis nula.

Como nuestra hipótesis estadística indicará, por definición, alguna propiedad de la distribución, la hipótesis nula es la hipótesis predeterminada bajo la cual esa propiedad no existe. La hipótesis nula es típicamente que algún parámetro (como una correlación o una diferencia entre medios) en las poblaciones de interés es cero. Nuestra hipótesis podría especificar la distribución de probabilidad de ${displaystyle X}$ precisamente, o solo podría especificar que pertenece a alguna clase de distribuciones. A menudo, reducimos los datos a una única estadística numérica, por ejemplo, ${displaystyle T}$, cuya distribución de probabilidad marginal está estrechamente relacionada con una cuestión de interés principal en el estudio.

El p-el valor se utiliza en el contexto de las pruebas de hipótesis nulas para cuantificar el significado estadístico de un resultado, siendo el resultado el valor observado de la estadística elegida ${displaystyle T}$. Cuanto menor sea p- el valor es, cuanto menor sea la probabilidad de conseguir ese resultado si la hipótesis nula fuera verdad. Se dice que un resultado es estadísticamente significativa si nos permite rechazar la hipótesis nula. Todas las otras cosas siendo iguales, los valores p más pequeños se toman como evidencia más fuerte contra la hipótesis nula.

Loosely speaking, rejection of the null hipothesis implies that there is sufficient evidence against it.

Como ejemplo particular, si una hipótesis nula indica que una cierta estadística sumaria ${displaystyle T}$ sigue la distribución normal estándar N(0,1), entonces el rechazo de esta hipótesis nula podría significar que (i) la media de ${displaystyle T}$ no es 0, o ii) la diferencia ${displaystyle T}$ no es 1, o iii) ${displaystyle T}$ no se distribuye normalmente. Diferentes pruebas de la misma hipótesis nula serían más o menos sensibles a diferentes alternativas. Sin embargo, incluso si logramos rechazar la hipótesis nula para las 3 alternativas, e incluso si sabemos que la distribución es normal y la varianza es 1, la prueba de hipótesis nula no nos dice qué valores no cero de la media son ahora más plausibles. Las observaciones más independientes de la misma distribución de probabilidad uno tiene, cuanto más preciso será la prueba, y más alta será la precisión con la que uno podrá determinar el valor medio y mostrar que no es igual a cero; pero esto también aumentará la importancia de evaluar la relevancia real o científica de esta desviación.

Definición e interpretación

Definición

El p-valor es la probabilidad bajo la hipótesis nula de obtener una estadística de prueba real por lo menos tan extrema como la obtenida. Considerar un test-estadístico observado ${displaystyle t}$ de distribución desconocida ${displaystyle T}$. Entonces el p- valor ${displaystyle p}$ es lo que la probabilidad anterior sería de observar un valor de prueba-estadístico al menos como "extreme" como ${displaystyle t}$ si la hipótesis nula ${displaystyle H_{0}$ Era verdad. Es decir:

• ${displaystyle p=Pr(Tgeq tmid H_{0}}$ para una distribución estadística de cola derecha unilateral,
• ${displaystyle p=Pr(Tleq tmid H_{0}}$ para una distribución de prueba de cola izquierda-estadística unilateral,
• ${displaystyle p=2min{pr(Tgeq tmid H_{0}),Pr(Tleq tmid H_{0}}}$ para una distribución bi-estadística de prueba. Si la distribución ${displaystyle T}$ es simétrico sobre cero, entonces ${displaystyle p=Pr(Principalmente, Silencioso$

Interpretaciones

En una prueba de significado, la hipótesis nula ${displaystyle H_{0}$ es rechazado si p- el valor es inferior o igual a un valor umbral predefinido ${displaystyle alpha }$, que se conoce como el nivel alfa o nivel de significación. ${displaystyle alpha }$ no se deriva de los datos, sino que es fijado por el investigador antes de examinar los datos. ${displaystyle alpha }$ se establece comúnmente a 0.05, aunque los niveles de alfa inferiores se utilizan a veces. En 2018, un grupo de estadísticos liderados por Daniel Benjamin propuso la adopción del valor 0.005 como valor estándar para la significación estadística en todo el mundo.

El p-valor es una función de la estadística de prueba elegida ${displaystyle T}$ y por lo tanto es una variable aleatoria. Si la hipótesis nula fija la distribución de probabilidad de ${displaystyle T}$ Precisamente, y si esa distribución es continua, entonces cuando la hipótesis nula es verdadera, el valor p se distribuye uniformemente entre 0 y 1. Así, el p- El valor no está fijo. Si la misma prueba se repite independientemente con datos frescos, normalmente se obtendrá un diferente p- valor en cada iteración. Si la hipótesis nula es compuesta, o la distribución de la estadística es discreta, la probabilidad de obtener una p- valor inferior o igual a cualquier número entre 0 y 1 es inferior o igual a ese número, si la hipótesis nula es verdadera. Sigue siendo el caso de que los valores muy pequeños son relativamente poco probables si la hipótesis nula es verdadera, y que una prueba de significación a nivel ${displaystyle alpha }$ se obtiene rechazando la hipótesis nula si el nivel de significación es inferior o igual a ${displaystyle alpha }$.

Se pueden combinar diferentes valores p basados en conjuntos de datos independientes, por ejemplo utilizando la prueba de probabilidad combinada de Fisher.

Distribución

Cuando una hipótesis nula de la forma ${displaystyle H_{0}: = 'theta ¿Qué?$ es cierto, y la variable aleatoria subyacente es continua, entonces la distribución de probabilidad de la p- el valor es uniforme en el intervalo ${displaystyle [0,1]}$. Más generalmente, la distribución de p- los valores pueden ser parciales ${displaystyle 0}$ o ${displaystyle 1}$ dependiendo de cómo el parámetro verdadero ${displaystyle theta }$ se refiere al valor(s) crítico(s) ${displaystyle theta ¿Qué?$ que definen ${displaystyle H_{0}$; por diseño la distribución será sesgada hacia ${displaystyle 0}$ cuando la hipótesis alternativa es verdadera.

Por lo general sólo un solo p- valor relacionado con una hipótesis se observa, por lo que p- el valor se interpreta mediante una prueba de significación y no se hace ningún esfuerzo para estimar la distribución de la que se extrajo. Cuando una colección de p- valores disponibles (Por ejemplo. al considerar un grupo de estudios sobre el mismo tema), la distribución de p- los valores se llaman a veces p- Seguro. A p-curve se puede utilizar para evaluar la fiabilidad de la literatura científica, como por ejemplo mediante la detección de sesgos de publicación o el pinchazo.

Para hipótesis compuestas

En los problemas de prueba de hipótesis paramétricas, una hipótesis simple o puntual se refiere a una hipótesis en la que se supone que el valor del parámetro es un número único. Por el contrario, en una hipótesis compuesta el valor del parámetro viene dado por un conjunto de números. Por ejemplo, al probar la hipótesis nula de que una distribución es normal con una media menor o igual a cero frente a la alternativa de que la media es mayor que cero (varianza conocida), la hipótesis nula no especifica la distribución de probabilidad de la prueba apropiada. estadística. En el ejemplo que acabamos de mencionar, esa sería la estadística Z que pertenece a la prueba Z unilateral de una muestra. Para cada valor posible de la media teórica, el estadístico de prueba Z tiene una distribución de probabilidad diferente. En estas circunstancias (el caso de la llamada hipótesis nula compuesta), el valor p se define tomando el caso de hipótesis nula menos favorable, que normalmente se encuentra en el límite entre nulo y alternativo.

Esta definición garantiza la complementariedad de los valores p y los niveles alfa. Si el nivel de significancia, alfa (α), es 0,05, y solo se rechaza la hipótesis nula si el valor p es menor o igual a 0,05, entonces la prueba de hipótesis efectivamente tendrá un nivel de significancia (tasa máxima de error tipo 1) de 0,05. Como escribió Neyman: “El error que un estadístico en ejercicio consideraría más importante evitar (que es un juicio subjetivo) se llama error del primer tipo. La primera exigencia de la teoría matemática es deducir criterios de prueba que aseguren que la probabilidad de cometer un error del primer tipo sea igual (o aproximadamente igual, o no exceda) a un número preasignado α, tal como α = 0,05 o 0,01., etc. Este número se llama nivel de significancia”; Neyman 1976, pág. 161 en "El surgimiento de la estadística matemática: un bosquejo histórico con especial referencia a los Estados Unidos" "Sobre la historia de la estadística y la probabilidad" ed. D. B. Owen, Nueva York: Marcel Dekker, págs. 149-193. Véase también "Confusión sobre medidas de evidencia (p's) versus errores (a's) en pruebas estadísticas clásicas" Raymond Hubbard y M. J. Bayarri, The American Statistician, agosto de 2003, vol. 57, núm. 3, 171–182 (con discusión). Para obtener una declaración moderna y concisa, consulte el Capítulo 10 de "Toda la estadística: un curso conciso sobre inferencia estadística", Saltador; 1ª ed. corregida. 20 edición (17 de septiembre de 2004). Larry Wasserman.

Uso

El valor p se utiliza ampliamente en las pruebas de hipótesis estadísticas, específicamente en las pruebas de significación de hipótesis nulas. En este método, antes de realizar el estudio, primero se elige un modelo (la hipótesis nula) y el nivel alfa α (más comúnmente 0,05). Después de analizar los datos, si el valor p es menor que α, se entiende que los datos observados son lo suficientemente inconsistentes con la hipótesis nula como para que la hipótesis nula sea válida. ser rechazado. Sin embargo, eso no prueba que la hipótesis nula sea falsa. El valor p no establece, por sí solo, probabilidades de hipótesis. Más bien, es una herramienta para decidir si se rechaza la hipótesis nula.

Mal uso

Según la ASA, existe un acuerdo generalizado en que los valores p a menudo se utilizan y malinterpretan. Una práctica que ha sido particularmente criticada es aceptar la hipótesis alternativa para cualquier valor p nominalmente menor que 0,05 sin otra evidencia que lo respalde. Aunque los valores p son útiles para evaluar cuán incompatibles son los datos con un modelo estadístico específico, también se deben considerar factores contextuales, como "el diseño de un estudio, la calidad de las mediciones"., la evidencia externa del fenómeno en estudio y la validez de los supuestos que subyacen al análisis de datos". Otra preocupación es que el valor p a menudo se malinterpreta como la probabilidad de que la hipótesis nula sea cierta.

Algunos estadísticos han propuesto abandonar los valores p y centrarse más en otras estadísticas inferenciales, como intervalos de confianza, ratios de probabilidad o factores de Bayes, pero existe un acalorado debate sobre la viabilidad de estas alternativas. Otros han sugerido eliminar los umbrales de significancia fijos e interpretar los valores p como índices continuos de la solidez de la evidencia contra la hipótesis nula. Sin embargo, otros sugirieron informar junto con los valores p la probabilidad previa de un efecto real que sería necesaria para obtener un riesgo de falso positivo (es decir, la probabilidad de que no haya un efecto real) por debajo de un umbral preespecificado (por ejemplo, 5%).

Dicho esto, en 2019 un grupo de trabajo de la ASA se reunió para considerar el uso de métodos estadísticos en estudios científicos, específicamente pruebas de hipótesis y valores p, y su conexión con la replicabilidad. Afirma que "Diferentes medidas de incertidumbre pueden complementarse entre sí; ninguna medida sirve para todos los propósitos”, citando el valor p como una de estas medidas. También enfatizan que los valores p pueden proporcionar información valiosa al considerar el valor específico y al compararlo con algún umbral. En general, enfatiza que "los valores p y las pruebas de significancia, cuando se aplican e interpretan adecuadamente, aumentan el rigor de las conclusiones extraídas de los datos".

Cálculo

Por lo general, ${displaystyle T}$ es una estadística de prueba. Una estadística de prueba es la salida de una función de escalar de todas las observaciones. Esta estadística proporciona un número único, como un t-estadístico o un F-estadístico. Como tal, la estadística de prueba sigue una distribución determinada por la función utilizada para definir esa estadística de prueba y la distribución de los datos de observación de entrada.

Para el caso importante en el que se supone que los datos son una muestra aleatoria de una distribución normal, dependiendo de la naturaleza del estadístico de prueba y las hipótesis de interés sobre su distribución, se han desarrollado diferentes pruebas de hipótesis nulas. Algunas de estas pruebas son la prueba z para hipótesis relativas a la media de una distribución normal con varianza conocida, la prueba t basada en la distribución t de Student de un estadístico adecuado para hipótesis relativas a la media de una distribución normal cuando la Se desconoce la varianza, la prueba F se basa en la distribución F de otro estadístico más para hipótesis relativas a la varianza. Para datos de otra naturaleza, por ejemplo datos categóricos (discretos), se podrían construir estadísticas de prueba cuya distribución de hipótesis nula se base en aproximaciones normales a estadísticas apropiadas obtenidas invocando el teorema del límite central para muestras grandes, como en el caso de Pearson. Prueba de chi-cuadrado.

Por lo tanto, calcular un valor p requiere una hipótesis nula, una estadística de prueba (junto con decidir si el investigador está realizando una prueba de una o dos colas) y datos. Aunque calcular el estadístico de prueba sobre datos dados puede ser fácil, calcular la distribución muestral bajo la hipótesis nula y luego calcular su función de distribución acumulativa (CDF) suele ser un problema difícil. Hoy en día, este cálculo se realiza mediante software estadístico, a menudo mediante métodos numéricos (en lugar de fórmulas exactas), pero, a principios y mediados del siglo XX, se hacía mediante tablas de valores y un p< interpolado o extrapolado. /i>-valores de estos valores discretos. En lugar de utilizar una tabla de valores p, Fisher invirtió la CDF y publicó una lista de valores del estadístico de prueba para valores p fijos determinados; esto corresponde a calcular la función cuantil (CDF inversa).

Ejemplo

Probando la equidad de una moneda

Como ejemplo de una prueba estadística, se realiza un experimento para determinar si un cambio de moneda es justo (igual posibilidad de aterrizar cabezas o colas) o injustamente parcial (un resultado es más probable que el otro).

Supongamos que los resultados experimentales muestran la moneda girando cabezas 14 veces de 20 volteretas totales. Los datos completos ${displaystyle X}$ sería una secuencia de veinte veces el símbolo "H" o "T". La estadística en la que uno podría enfocarse podría ser el número total ${displaystyle T}$ de cabezas. La hipótesis nula es que la moneda es justa, y los dedos de monedas son independientes unos de otros. Si se considera una prueba de cola derecha, que sería el caso si uno realmente está interesado en la posibilidad de que la moneda esté sesgada hacia cabezas caídas, entonces la p-valor de este resultado es la oportunidad de un aterrizaje justo de monedas en las cabezas al menos 14 veces de 20 vueltas. Esa probabilidad se puede calcular de los coeficientes binomiales como

${displaystyle {begin{aligned}Pr(14{text{ heads})+Pr(15{text{ heads}})+cdots +Pr(20{text{ heads}})\\\cH00={frac} {1}{2^{20}}left[{binom} {20}{14}+{binom {20}{15}+cdots +{binom {20}{20}}right]={frac {60,!460}{1,!048,!576}approx 0,058end{aligned}}$

Esta probabilidad es la p-valor, considerando sólo resultados extremos que favorecen la cabeza. Esto se llama una prueba de cola única. Sin embargo, uno podría estar interesado en las desviaciones en cualquier dirección, favoreciendo las cabezas o colas. Las dos colas p-valor, que considera desviaciones que favorecen o bien cabezas o colas, puede ser calculado. Como la distribución binomial es simétrica para una moneda justa, los dos lados p- El valor es simplemente el doble de lo calculado anteriormente p-valor: dos caras p- El valor es 0.115.

En el ejemplo anterior:

• Hipótesis nula (H)₀): La moneda es justa, con Pr(heads) = 0.5
• Estadística de prueba: Número de cabezas
• Nivel alfa (umbral designado de significación): 0,05
• Observación O: 14 cabezas de 20 vueltas; y
• Dos colas p- valor de la observación O given H₀ = 2 × min(Pr(no. de cabezas ≥ 14 cabezas), Pr(no. de cabezas ≤ 14 cabezas) = 2 × min(0.058, 0.978) = 2*0.058 = 0.115.

El Pr (no. de cabezas ≤ 14 cabezas) = 1 - Pr(no. de cabezas ≥ 14 cabezas) + Pr (no de cabeza = 14) = 1 - 0.058 + 0.036 = 0.978; sin embargo, la simetría de esta distribución binomio hace que sea una computación innecesaria para encontrar la menor de las dos probabilidades. Aquí, el calculado p-valor excede.05, lo que significa que los datos entran dentro del rango de lo que pasaría el 95% del tiempo, si la moneda fuera justa. Por lo tanto, la hipótesis nula no es rechazada en el nivel.05.

Sin embargo, si se hubiera obtenido una cara más, el valor p resultante (de dos colas) habría sido 0,0414 (4,14%), en cuyo caso la hipótesis nula se rechazaría en el 0,05 nivel.

Diseño de experimentos de varias etapas

La diferencia entre los dos significados de "extremo" aparecen cuando consideramos un experimento de varias etapas para probar la equidad de la moneda. Supongamos que diseñamos el experimento de la siguiente manera:

• Flip la moneda dos veces. Si ambos aparecen cabezas o colas, termina el experimento.
• Else, voltea la moneda 4 veces más.

Este experimento tiene 7 tipos de resultados: 2 caras, 2 cruces, 5 caras 1 cruz..., 1 cara 5 cruces. Ahora calculamos el valor p de la ecuación "3 caras 3 cruces" resultado.

Si utilizamos la estadística de prueba ${displaystyle {frac {text{heads} {text{tails}}}}$, entonces bajo la hipótesis nula es exactamente 1 para el valor p dos lados, y exactamente ${displaystyle {frac {}{32}}}$ para un lado de la izquierda-valor de p-valor, y el mismo para un lado de la derecha-valor de p-valor.

Si consideramos cada resultado que tiene igual o menor probabilidad que "3 cabezas 3 colas" como "al menos como extremo", entonces el valor p es exactamente ${fnMicroc} {1}{2}}}$.

Sin embargo, supongamos que hemos planeado simplemente lanzar la moneda 6 veces sin importar lo que suceda, entonces la segunda definición de valor p significaría que el valor p de "3 caras 3 cruces" es exactamente 1.

Por lo tanto, el enfoque "al menos tan extremo" La definición de valor p es profundamente contextual y depende de lo que el experimentador planeó hacer incluso en situaciones que no ocurrieron.

Historia