Teste de razão de verossimilhança

Em estatística, o teste da razão de verossimilhança avalia a qualidade do ajuste de dois modelos estatísticos concorrentes, especificamente um encontrado por maximização em todo o espaço de parâmetros e outro encontrado após a imposição de alguma restrição, com base no proporção de suas probabilidades. Se a restrição (isto é, a hipótese nula) for apoiada pelos dados observados, as duas probabilidades não devem diferir em mais do que o erro amostral. Assim, o teste da razão de verossimilhança testa se esta razão é significativamente diferente de um, ou equivalentemente, se o seu logaritmo natural é significativamente diferente de zero.

O teste de razão de verossimilhança, também conhecido como teste de Wilks, é a mais antiga das três abordagens clássicas para testes de hipóteses, juntamente com o teste do multiplicador de Lagrange e o teste de Wald. Na verdade, os dois últimos podem ser conceituados como aproximações ao teste da razão de verossimilhança e são assintoticamente equivalentes. No caso de comparar dois modelos sem parâmetros desconhecidos, o uso do teste da razão de verossimilhança pode ser justificado pelo lema de Neyman-Pearson. O lema demonstra que o teste tem o maior poder entre todos os concorrentes.

Definição

Geral

Suponha que temos um modelo estatístico com espaço de parâmetros $- Sim.$. Uma hipótese nula é frequentemente declarada dizendo que o parâmetro $- Sim.$ está em um subconjunto especificado $Não. Teta _{0}}$ de $- Sim.$. A hipótese alternativa é, portanto, $- Sim.$ está no complemento de $Não. Teta _{0}}$, i.e. $Não. Theta ~backslash ~Theta _{0}}$, que é denotado por $Não. Teta _{0}^{text{c}}}$. A estatística do teste da razão da probabilidade para a hipótese nula $Não. H_{0},:,theta in Theta _{0}}$ é dado por:

${displaystyle lambda _{text{LR}}=-2ln left[{frac {~sup _{theta in Theta _{0}}{mathcal {L}}(theta)~}{~sup _{theta in Theta }{mathcal {L}}(theta)~}}right]}$

onde a quantidade dentro dos suportes é chamado a relação de probabilidade. Aqui, o $- Sim.$ notação refere-se ao supremum. Como todas as probabilidades são positivas, e como o máximo restrito não pode exceder o máximo não limitado, a relação de probabilidade é limitada entre zero e um.

Muitas vezes, a estatística do teste de razão de verossimilhança é expressa como uma diferença entre as probabilidades logarítmicas

${displaystyle lambda _{text{LR}}=-2left[~ell (theta _{0})-ell ({hat {theta }})~right]}$

onde

${displaystyle ell ({hat {theta }})equiv ln left[~sup _{theta in Theta }{mathcal {L}}(theta)~right]~}$

é o logaritmo da função de probabilidade maximizada ${displaystyle {mathcal {L}}}$e $(theta _{0})}$ é o valor máximo no caso especial de que a hipótese nula é verdadeira (mas não necessariamente um valor que maximiza ${displaystyle {mathcal {L}}}$ para os dados amostrados) e

${displaystyle theta _{0}in Theta _{0}qquad {text{ e }}qquad {hat {theta }}in Theta ~}$

denote os respectivos argumentos do maxima e os intervalos permitidos em que estão incorporados. Multiplicando por −2 garante matematicamente que (por teorema de Wilks) ${displaystyle lambda _{text{LR}}}$ converge assintoticamente para ser χ2-distribuído se a hipótese nula acontece ser verdadeira. As distribuições de amostra finitas de testes de probabilidade-ratio são geralmente desconhecidas.

O teste da razão de verossimilhança exige que os modelos sejam aninhados – ou seja, o modelo mais complexo pode ser transformado no modelo mais simples, impondo restrições aos parâmetros do primeiro. Muitas estatísticas de teste comuns são testes para modelos aninhados e podem ser formuladas como razões de log-verossimilhança ou suas aproximações: por ex. teste Z, teste F, teste G e teste qui-quadrado de Pearson; para uma ilustração com o teste t de uma amostra, veja abaixo.

Se os modelos não estiverem aninhados, então, em vez do teste de razão de verossimilhança, há uma generalização do teste que geralmente pode ser usada: para obter detalhes, consulte probabilidade relativa.

Caso de hipóteses simples

Um teste de hipótese simples-vs.-simples tem modelos completamente especificados sob a hipótese nula e a hipótese alternativa, que para conveniência são escritos em termos de valores fixos de um parâmetro nocional $- Sim.$:

${displaystyle {begin{aligned}H_{0}&:&theta =theta _{0},H_{1}&&:&theta = _{1}.end{aligned}}}$

Neste caso, sob qualquer hipótese, a distribuição dos dados é totalmente especificada: não há parâmetros desconhecidos para estimar. Para este caso, está disponível uma variante do teste da razão de verossimilhança:

${displaystyle Lambda (x)={frac {~{mathcal {L}}(theta) _{0}mid x)~}{~{mathcal {L}}(theta _{1}mid x)~}}}$

Algumas referências mais antigas podem usar o inverso da função acima como definição. Assim, a razão de verossimilhança é pequena se o modelo alternativo for melhor que o modelo nulo.

O teste de razão de verossimilhança fornece a regra de decisão da seguinte forma:

Se $Não. "Lambda"$, não rejeitar $Não. H_{0}}$;

Se $Não. - Lambda$, rejeitar $Não. H_{0}}$;

Se $Não. ~Lambda - Sim.$, rejeitar $Não. H_{0}}$ com probabilidade $Não. - Sim.$.

Os valores $Não.$ e $Não.$ são geralmente escolhidos para obter um nível de significância especificado $- Sim.$, através da relação

$Não. - Sim.$ ${displaystyle operatorname} (P) H_{0}) ~ +nome do operador {P} (Lambda$

O lemma Neyman-Pearson afirma que este teste de probabilidade-ratio é o mais poderoso entre todos os níveis $- Sim.$ testes para este caso.

Interpretação

A relação de probabilidade é uma função dos dados $Não.$; portanto, é uma estatística, embora incomum em que o valor da estatística depende de um parâmetro, $- Sim.$. O teste de probabilidade-ratio rejeita a hipótese nula se o valor desta estatística é muito pequeno. Quão pequeno é muito pequeno depende do nível de significância do teste, ou seja, de que probabilidade de erro do Tipo I é considerado tolerável (os erros do Tipo I consistem na rejeição de uma hipótese nula que é verdadeira).

O numerador corresponde à probabilidade de um resultado observado sob a hipótese nula. O denominador corresponde à probabilidade máxima de um resultado observado, variando os parâmetros em todo o espaço de parâmetros. O numerador desta proporção é menor que o denominador; portanto, a razão de verossimilhança está entre 0 e 1. Valores baixos da razão de verossimilhança significam que o resultado observado teve muito menos probabilidade de ocorrer sob a hipótese nula em comparação com a alternativa. Valores altos da estatística significam que o resultado observado era quase tão provável de ocorrer sob a hipótese nula quanto sob a alternativa e, portanto, a hipótese nula não pode ser rejeitada.

Um exemplo

O exemplo a seguir foi adaptado e resumido de Stuart, Ord & Arnold (1999, §22.2).

Suponha que temos uma amostra aleatória, de tamanho n, de uma população normalmente distribuída. Tanto a média, μ, quanto o desvio padrão, σ, da população são desconhecidos. Queremos testar se a média é igual a um determinado valor, μ₀ .

Assim, nossa hipótese nula é H₀: μ = μ₀ e nossa hipótese alternativa é H₁: μ ≠ μ₀ . A função de verossimilhança é

${displaystyle {mathcal {L}}(musigma mid x)=left(2pi sigma ^{2}right)^{-n/2}exp left(-sum _{i=1}^{n}{frac {(x_{i}-mu)^{2}}{2sigma ^{2}}}right),.}$

Com alguns cálculos (omitidos aqui), pode-se então mostrar que

${displaystyle lambda =left(1+{frac {t^{2}}{n-1}}right)^{-n/2}}$

onde t é a estatística t com n − 1 graus de liberdade. Portanto, podemos usar a distribuição exata conhecida de t_n−1 para fazer inferências.

Distribuição assintótica: teorema de Wilks

Se a distribuição da razão de verossimilhança correspondente a uma determinada hipótese nula e alternativa puder ser explicitamente determinada, ela poderá ser usada diretamente para formar regiões de decisão (para sustentar ou rejeitar a hipótese nula). Na maioria dos casos, contudo, a distribuição exacta da razão de verossimilhança correspondente a hipóteses específicas é muito difícil de determinar.

Assumindo H. H. H.₀ é verdade, há um resultado fundamental por Samuel S. Wilks: Como o tamanho da amostra $Não.$ abordagens $- Sim.$, e se a hipótese nula está estritamente dentro do interior do espaço do parâmetro, a estatística do teste ${displaystyle lambda _{text{LR}}}$ definido acima será assintoticamente qui-quadrado distribuído (${displaystyle chi ^{2}}$) com graus de liberdade iguais à diferença de dimensão $- Sim.$ e $Não. Teta _{0}}$. Isso implica que para uma grande variedade de hipóteses, podemos calcular a relação de probabilidade $- Sim.$ para os dados e, em seguida, comparar o observado ${displaystyle lambda _{text{LR}}}$ ao ${displaystyle chi ^{2}}$ valor correspondente a uma significância estatística desejada como um aproximado teste estatístico. Existem outras extensões.