Prueba de razón de verosimilitud

En estadística, la prueba de razón de verosimilitud evalúa la bondad de ajuste de dos modelos estadísticos que compiten en función de la razón de sus probabilidades, específicamente uno encontrado por maximización en todo el espacio de parámetros y otro encontrado después imponiendo alguna restricción. Si la restricción (es decir, la hipótesis nula) está respaldada por los datos observados, las dos probabilidades no deberían diferir en más que un error de muestreo. Por lo tanto, la prueba de la razón de verosimilitud comprueba si esta razón es significativamente diferente de uno o, de manera equivalente, si su logaritmo natural es significativamente diferente de cero.

La prueba de razón de verosimilitud, también conocida como prueba de Wilks, es la más antigua de las tres aproximaciones clásicas a la prueba de hipótesis, junto con la prueba del multiplicador de Lagrange y la prueba de Wald. De hecho, los dos últimos pueden conceptualizarse como aproximaciones a la prueba de razón de verosimilitud y son asintóticamente equivalentes. En el caso de comparar dos modelos, cada uno de los cuales no tiene parámetros desconocidos, el uso de la prueba de razón de verosimilitud puede justificarse mediante el lema de Neyman-Pearson. El lema demuestra que la prueba tiene la mayor potencia entre todos los competidores.

Definición

Generales

Supongamos que tenemos un modelo estadístico con espacio de parámetro .. {displaystyle Theta }. Una hipótesis nula a menudo se declara diciendo que el parámetro Silencio Silencio {displaystyle theta } está en un subconjunto especificado .. 0{displaystyle Theta ¿Qué? de .. {displaystyle Theta }. La hipótesis alternativa es que Silencio Silencio {displaystyle theta } está en el complemento de .. 0{displaystyle Theta ¿Qué?, i.e. in .. ∖ ∖ .. 0{displaystyle Theta ~backslash ~Theta ¿Qué?, que es denotado por .. 0c{displaystyle Theta ¿Qué?. La relación de probabilidad de prueba estadística para la hipótesis nula H0:Silencio Silencio ▪ ▪ .. 0{displaystyle H_{0},,theta in Theta ¿Qué? es dado por:

λ λ LR=− − 2In⁡ ⁡ [SupSilencio Silencio ▪ ▪ .. 0L()Silencio Silencio )SupSilencio Silencio ▪ ▪ .. L()Silencio Silencio )]{displaystyle lambda _{text{LR}}=-2ln left[{frac {sup _{theta in Theta _{0}{mathcal {L} {theta)~}{~sup _{theta in Theta }{mathcal {L} {theta)~}}derecha]}}}}} {sup} {sup]} {sup} {sup} {sup} {sup}}} {sup}}}} {sup}} {sup} {sup} {sup}}}} {sup} {Thetasup} {sup} {sup}}}}}}} {sup}}}} {sup} {Thetasup}}}} {sup} {sup}}}}}}}}}sup}}}}}}}}}}}} {sup}}}}}}}}}}}}}sup}}}}}}}}

donde la cantidad dentro de los corchetes se llama la relación de probabilidad. Aquí, el Sup{displaystyle sup} notación se refiere al supremum. Como todas las probabilidades son positivas, y como el máximo limitado no puede exceder el máximo sin restricciones, la relación de probabilidad está ligada entre cero y uno.

A menudo, la estadística de prueba de razón de verosimilitud se expresa como una diferencia entre las probabilidades logarítmicas

λ λ LR=− − 2[l l ()Silencio Silencio 0)− − l l ()Silencio Silencio ^ ^ )]{displaystyle lambda _{text{LR}}=-2left[~ell (theta _{0})-ell ({hat {theta }})~right]

dónde

l l ()Silencio Silencio ^ ^ )↑ ↑ In⁡ ⁡ [SupSilencio Silencio ▪ ▪ .. L()Silencio Silencio )]{displaystyle ell ({hat {theta })equiv ln left[~sup _{theta in Theta }{mathcal {L}(theta)~right]~}

es el logaritmo de la función de probabilidad máxima L{displaystyle {fnMithcal}}, y l l ()Silencio Silencio 0){displaystyle ell (theta _{0})} es el valor máximo en el caso especial que la hipótesis nula es verdadera (pero no necesariamente un valor que maximiza L{displaystyle {fnMithcal}} para los datos muestreados) y

Silencio Silencio 0▪ ▪ .. 0ySilencio Silencio ^ ^ ▪ ▪ .. {displaystyle theta _{0}in Theta _{0}qquad {text{ and }qquad {hat {theta En "Theta"

denota los argumentos respectivos de la máxima y los rangos permitidos en los que están incrustados. Multiplying by −2 asegura matemáticamente que (por el teorema de Wilks) λ λ LR{displaystyle lambda _{text{LR}} converge asintotically to being χ2-distributed if the null hipothesis happen to be true. Generalmente se desconocen las distribuciones de muestras finitas de pruebas de proporción de probabilidad.

La prueba de la razón de verosimilitud requiere que los modelos estén anidados, es decir, el modelo más complejo se puede transformar en el modelo más simple imponiendo restricciones a los parámetros del primero. Muchas estadísticas de prueba comunes son pruebas para modelos anidados y se pueden expresar como razones de probabilidad logarítmica o aproximaciones de las mismas: p. la prueba Z, la prueba F, la prueba G y la prueba chi-cuadrado de Pearson; para ver una ilustración con la prueba t de una muestra, consulte a continuación.

Si los modelos no están anidados, en lugar de la prueba de razón de verosimilitud, hay una generalización de la prueba que normalmente se puede usar: para obtener detalles, consulte verosimilitud relativa.

Caso de hipótesis simples

Una prueba de hipótesis simple-vs.-simple tiene modelos completamente especificados bajo la hipótesis nula y la hipótesis alternativa, que por conveniencia se escriben en términos de valores fijos de un parámetro nocional Silencio Silencio {displaystyle theta }:

H0:Silencio Silencio =Silencio Silencio 0,H1:Silencio Silencio =Silencio Silencio 1.{displaystyle {begin{aligned}H_{0} curvatheta =theta - ¿Qué? = 'theta ¿Qué?

En este caso, bajo cualquier hipótesis, la distribución de los datos está completamente especificada: no hay parámetros desconocidos para estimar. Para este caso, está disponible una variante de la prueba de razón de verosimilitud:

▪ ▪ ()x)=L()Silencio Silencio 0▪ ▪ x)L()Silencio Silencio 1▪ ▪ x){displaystyle Lambda (x)={frac {~{mathcal {L}(theta) ¿Por qué?

Algunas referencias más antiguas pueden usar el recíproco de la función anterior como definición. Por lo tanto, la razón de verosimilitud es pequeña si el modelo alternativo es mejor que el modelo nulo.

La prueba de razón de verosimilitud proporciona la regla de decisión de la siguiente manera:

Si c~}" xmlns="http://www.w3.org/1998/Math/MathML">▪ ▪ ■c{displaystyle - Lambda, ¿no?c~}" aria-hidden="true" class="mwe-math-fallback-image-inline" src="https://wikimedia.org/api/rest_v1/media/math/render/svg/6e07b2aee45b14c363de0f675e96fa34d2a94d0c" style="vertical-align: -0.338ex; width:6.88ex; height:2.176ex;"/>, no rechazar H0{displaystyle H_{0};

Si <math alttext="{displaystyle ~Lambda ▪ ▪ .c{displaystyle - Lambda -<img alt="{displaystyle ~Lambda , rechazar H0{displaystyle H_{0};

Si ▪ ▪ =c{displaystyle ~Lambda =c~, rechazar H0{displaystyle H_{0} con probabilidad q{displaystyle ~q ~.

Los valores c{displaystyle c} y q{displaystyle q} son generalmente elegidos para obtener un nivel de significación especificado α α {displaystyle alpha }, a través de la relación

q{displaystyle ~q ~ <math alttext="{displaystyle operatorname {P} (Lambda =cmid H_{0})~+~operatorname {P} (Lambda P⁡ ⁡ ()▪ ▪ =c▪ ▪ H0)+P⁡ ⁡ ()▪ ▪ .c▪ ▪ H0)=α α .{displaystyle operatorname {P} (Lambda =cmid} H_{0}~+~ (Lambda) ~.}<img alt="{displaystyle operatorname {P} (Lambda =cmid H_{0})~+~operatorname {P} (Lambda

La lema Neyman-Pearson afirma que esta prueba de probabilidad-ratio es la más poderosa entre todos los niveles α α {displaystyle alpha } pruebas para este caso.

Interpretación

La relación de probabilidad es una función de los datos x{displaystyle x}; por lo tanto, es una estadística, aunque inusual en que el valor estadístico depende de un parámetro, Silencio Silencio {displaystyle theta }. La prueba de relación de probabilidad rechaza la hipótesis nula si el valor de esta estadística es demasiado pequeño. Cuán pequeño es demasiado pequeño depende del nivel de significado de la prueba, es decir, de qué probabilidad de error tipo I se considera tolerable (los errores tipo I consisten en el rechazo de una hipótesis nula que es verdad).

El numerador corresponde a la probabilidad de un resultado observado bajo la hipótesis nula. El denominador corresponde a la máxima probabilidad de un resultado observado, variando los parámetros en todo el espacio de parámetros. El numerador de esta razón es menor que el denominador; por lo tanto, la razón de verosimilitud está entre 0 y 1. Los valores bajos de la razón de verosimilitud significan que el resultado observado era mucho menos probable que ocurriera bajo la hipótesis nula en comparación con la alternativa. Los valores altos de la estadística significan que el resultado observado era casi tan probable que ocurriera bajo la hipótesis nula como bajo la alternativa, por lo que la hipótesis nula no puede rechazarse.

Un ejemplo

El siguiente ejemplo está adaptado y resumido de Stuart, Ord & Arnold (1999, §22.2).

Supongamos que tenemos una muestra aleatoria, de tamaño n, de una población que se distribuye normalmente. Tanto la media, μ, como la desviación estándar, σ, de la población son desconocidos. Queremos probar si la media es igual a un valor dado, μ₀ .

Por lo tanto, nuestra hipótesis nula es H₀: μ = μ₀ y nuestra hipótesis alternativa es H₁: μ ≠ μ₀ . La función de verosimilitud es

L()μ μ ,σ σ ▪ ▪ x)=()2π π σ σ 2)− − n/2exp⁡ ⁡ ()− − .. i=1n()xi− − μ μ )22σ σ 2).{displaystyle {mathcal {L}}(musigma mid x)=left(2pi sigma ^{2}right)^{-n/2}exp left(-sum) ¿Qué?

Con algunos cálculos (omitidos aquí), se puede demostrar que

λ λ =()1+t2n− − 1)− − n/2{displaystyle lambda =left(1+{frac {fn} {fn}}derecha)} {n/2}

donde t es la estadística t con n − 1 grados de libertad. Por lo tanto, podemos usar la distribución exacta conocida de t_n−1 para sacar inferencias.

Distribución asintótica: teorema de Wilks

Si la distribución de la razón de verosimilitud correspondiente a una hipótesis nula y alternativa en particular se puede determinar explícitamente, entonces se puede usar directamente para formar regiones de decisión (para sostener o rechazar la hipótesis nula). En la mayoría de los casos, sin embargo, la distribución exacta de la razón de verosimilitud correspondiente a hipótesis específicas es muy difícil de determinar.

Sumas H₀ es cierto, hay un resultado fundamental de Samuel S. Wilks: Como tamaño de la muestra n{displaystyle n} enfoques JUEGO JUEGO {displaystyle infty }, la estadística de prueba λ λ LR{displaystyle lambda _{text{LR}} definido arriba será asintoticamente chi-squared distribuido (χ χ 2{displaystyle chi ^{2}) con grados de libertad igual a la diferencia de dimensión .. {displaystyle Theta } y .. 0{displaystyle Theta ¿Qué?. Esto implica que para una gran variedad de hipótesis, podemos calcular la relación de probabilidad λ λ {displaystyle lambda } para los datos y luego comparar los observados λ λ LR{displaystyle lambda _{text{LR}} a la χ χ 2{displaystyle chi ^{2} valor correspondiente a un significado estadístico deseado como aprox. Prueba estadística. Existen otras extensiones.