Prueba de razón de verosimilitud

format_list_bulleted Contenido keyboard_arrow_down

ImprimirCitar

Prueba estadística utilizada para comparar la bondad del ajuste de dos modelos estadísticos

En estadística, la prueba de razón de verosimilitud evalúa la bondad de ajuste de dos modelos estadísticos que compiten en función de la razón de sus probabilidades, específicamente uno encontrado por maximización en todo el espacio de parámetros y otro encontrado después imponiendo alguna restricción. Si la restricción (es decir, la hipótesis nula) está respaldada por los datos observados, las dos probabilidades no deberían diferir en más que un error de muestreo. Por lo tanto, la prueba de la razón de verosimilitud comprueba si esta razón es significativamente diferente de uno o, de manera equivalente, si su logaritmo natural es significativamente diferente de cero.

La prueba de razón de verosimilitud, también conocida como prueba de Wilks, es la más antigua de las tres aproximaciones clásicas a la prueba de hipótesis, junto con la prueba del multiplicador de Lagrange y la prueba de Wald. De hecho, los dos últimos pueden conceptualizarse como aproximaciones a la prueba de razón de verosimilitud y son asintóticamente equivalentes. En el caso de comparar dos modelos, cada uno de los cuales no tiene parámetros desconocidos, el uso de la prueba de razón de verosimilitud puede justificarse mediante el lema de Neyman-Pearson. El lema demuestra que la prueba tiene la mayor potencia entre todos los competidores.

Definición

Generales

Supongamos que tenemos un modelo estadístico con espacio de parámetro $Theta$ . Una hipótesis nula a menudo se declara diciendo que el parámetro $theta$ está en un subconjunto especificado $Theta_0$ de $Theta$ . La hipótesis alternativa es que $theta$ está en el complemento de $Theta_0$ , i.e. in ${displaystyle Theta ~backslash ~Theta _{0}}$ , que es denotado por ${displaystyle Theta _{0}^{text{c}}}$ . La relación de probabilidad de prueba estadística para la hipótesis nula ${displaystyle H_{0},:,theta in Theta _{0}}$ es dado por:

{displaystyle lambda _{text{LR}}=-2ln left[{frac {~sup _{theta in Theta _{0}}{mathcal {L}}(theta)~}{~sup _{theta in Theta }{mathcal {L}}(theta)~}}right]}

donde la cantidad dentro de los corchetes se llama la relación de probabilidad. Aquí, el $sup$ notación se refiere al supremum. Como todas las probabilidades son positivas, y como el máximo limitado no puede exceder el máximo sin restricciones, la relación de probabilidad está ligada entre cero y uno.

A menudo, la estadística de prueba de razón de verosimilitud se expresa como una diferencia entre las probabilidades logarítmicas

{displaystyle lambda _{text{LR}}=-2left[~ell (theta _{0})-ell ({hat {theta }})~right]}

dónde

{displaystyle ell ({hat {theta }})equiv ln left[~sup _{theta in Theta }{mathcal {L}}(theta)~right]~}

es el logaritmo de la función de probabilidad máxima ${mathcal {L}}$ , y ${displaystyle ell (theta _{0})}$ es el valor máximo en el caso especial que la hipótesis nula es verdadera (pero no necesariamente un valor que maximiza ${mathcal {L}}$ para los datos muestreados) y

{displaystyle theta _{0}in Theta _{0}qquad {text{ and }}qquad {hat {theta }}in Theta ~}

denota los argumentos respectivos de la máxima y los rangos permitidos en los que están incrustados. Multiplying by −2 asegura matemáticamente que (por el teorema de Wilks) ${displaystyle lambda _{text{LR}}}$ converge asintotically to being χ2-distributed if the null hipothesis happen to be true. Generalmente se desconocen las distribuciones de muestras finitas de pruebas de proporción de probabilidad.

La prueba de la razón de verosimilitud requiere que los modelos estén anidados, es decir, el modelo más complejo se puede transformar en el modelo más simple imponiendo restricciones a los parámetros del primero. Muchas estadísticas de prueba comunes son pruebas para modelos anidados y se pueden expresar como razones de probabilidad logarítmica o aproximaciones de las mismas: p. la prueba Z, la prueba F, la prueba G y la prueba chi-cuadrado de Pearson; para ver una ilustración con la prueba t de una muestra, consulte a continuación.

Si los modelos no están anidados, en lugar de la prueba de razón de verosimilitud, hay una generalización de la prueba que normalmente se puede usar: para obtener detalles, consulte verosimilitud relativa.

Caso de hipótesis simples

Una prueba de hipótesis simple-vs.-simple tiene modelos completamente especificados bajo la hipótesis nula y la hipótesis alternativa, que por conveniencia se escriben en términos de valores fijos de un parámetro nocional $theta$ :

begin{align} H_0 &:& theta=theta_0\ H_1 &:& theta=theta_1. end{align}

En este caso, bajo cualquier hipótesis, la distribución de los datos está completamente especificada: no hay parámetros desconocidos para estimar. Para este caso, está disponible una variante de la prueba de razón de verosimilitud:

{displaystyle Lambda (x)={frac {~{mathcal {L}}(theta _{0}mid x)~}{~{mathcal {L}}(theta _{1}mid x)~}}}

Algunas referencias más antiguas pueden usar el recíproco de la función anterior como definición. Por lo tanto, la razón de verosimilitud es pequeña si el modelo alternativo es mejor que el modelo nulo.

La prueba de razón de verosimilitud proporciona la regla de decisión de la siguiente manera:

c~}" xmlns="http://www.w3.org/1998/Math/MathML">▪ ▪ ■c{displaystyle - Lambda, ¿no?c~}" aria-hidden="true" class="mwe-math-fallback-image-inline" src="https://wikimedia.org/api/rest_v1/media/math/render/svg/6e07b2aee45b14c363de0f675e96fa34d2a94d0c" style="vertical-align: -0.338ex; width:6.88ex; height:2.176ex;"/>

, no rechazar

H_{0}

;

<math alttext="{displaystyle ~Lambda ▪ ▪ .c{displaystyle - Lambda - <img alt="{displaystyle ~Lambda

, rechazar

H_{0}

;

{displaystyle ~Lambda =c~}

, rechazar

H_{0}

con probabilidad

{displaystyle ~q~}

Los valores $c$ y $q$ son generalmente elegidos para obtener un nivel de significación especificado $alpha$ , a través de la relación

{displaystyle ~q~}

<math alttext="{displaystyle operatorname {P} (Lambda =cmid H_{0})~+~operatorname {P} (Lambda P⁡ ⁡ ()▪ ▪ =c▪ ▪ H0)+P⁡ ⁡ ()▪ ▪ .c▪ ▪ H0)=α α .{displaystyle operatorname {P} (Lambda =cmid} H_{0}~+~ (Lambda) ~.}<img alt="{displaystyle operatorname {P} (Lambda =cmid H_{0})~+~operatorname {P} (Lambda

La lema Neyman-Pearson afirma que esta prueba de probabilidad-ratio es la más poderosa entre todos los niveles $alpha$ pruebas para este caso.

Interpretación

La relación de probabilidad es una función de los datos $x$ ; por lo tanto, es una estadística, aunque inusual en que el valor estadístico depende de un parámetro, $theta$ . La prueba de relación de probabilidad rechaza la hipótesis nula si el valor de esta estadística es demasiado pequeño. Cuán pequeño es demasiado pequeño depende del nivel de significado de la prueba, es decir, de qué probabilidad de error tipo I se considera tolerable (los errores tipo I consisten en el rechazo de una hipótesis nula que es verdad).

El numerador corresponde a la probabilidad de un resultado observado bajo la hipótesis nula. El denominador corresponde a la máxima probabilidad de un resultado observado, variando los parámetros en todo el espacio de parámetros. El numerador de esta razón es menor que el denominador; por lo tanto, la razón de verosimilitud está entre 0 y 1. Los valores bajos de la razón de verosimilitud significan que el resultado observado era mucho menos probable que ocurriera bajo la hipótesis nula en comparación con la alternativa. Los valores altos de la estadística significan que el resultado observado era casi tan probable que ocurriera bajo la hipótesis nula como bajo la alternativa, por lo que la hipótesis nula no puede rechazarse.

Un ejemplo

El siguiente ejemplo está adaptado y resumido de Stuart, Ord & Arnold (1999, §22.2).

Supongamos que tenemos una muestra aleatoria, de tamaño $n$ , de una población que se distribuye normalmente. Tanto la media, $μ$ , como la desviación estándar, $σ$ , de la población son desconocidos. Queremos probar si la media es igual a un valor dado, $μ 0$ .

Por lo tanto, nuestra hipótesis nula es $H 0 : μ = μ 0$ y nuestra hipótesis alternativa es $H 1 : μ \neq μ 0$ . La función de verosimilitud es

{displaystyle {mathcal {L}}(musigma mid x)=left(2pi sigma ^{2}right)^{-n/2}exp left(-sum _{i=1}^{n}{frac {(x_{i}-mu)^{2}}{2sigma ^{2}}}right),.}

Con algunos cálculos (omitidos aquí), se puede demostrar que

{displaystyle lambda =left(1+{frac {t^{2}}{n-1}}right)^{-n/2}}

donde $t$ es la estadística t con $n - 1$ grados de libertad. Por lo tanto, podemos usar la distribución exacta conocida de $t n -1$ para sacar inferencias.

Distribución asintótica: teorema de Wilks

Si la distribución de la razón de verosimilitud correspondiente a una hipótesis nula y alternativa en particular se puede determinar explícitamente, entonces se puede usar directamente para formar regiones de decisión (para sostener o rechazar la hipótesis nula). En la mayoría de los casos, sin embargo, la distribución exacta de la razón de verosimilitud correspondiente a hipótesis específicas es muy difícil de determinar.

Sumas $H 0$ es cierto, hay un resultado fundamental de Samuel S. Wilks: Como tamaño de la muestra $n$ enfoques $infty$ , la estadística de prueba ${displaystyle lambda _{text{LR}}}$ definido arriba será asintoticamente chi-squared distribuido ( $chi ^{2}$ ) con grados de libertad igual a la diferencia de dimensión $Theta$ y $Theta_0$ . Esto implica que para una gran variedad de hipótesis, podemos calcular la relación de probabilidad $lambda$ para los datos y luego comparar los observados ${displaystyle lambda _{text{LR}}}$ a la $chi ^{2}$ valor correspondiente a un significado estadístico deseado como aprox. Prueba estadística. Existen otras extensiones.

Contenido relacionado

Más resultados...