Estimador insesgado de varianza mínima

En estadística, un estimador insesgado de varianza mínima (MVUE) o un estimador insesgado de varianza mínima uniforme (UMVUE) es un estimador insesgado que tiene una varianza menor que cualquier otro estimador insesgado. estimador para todos los valores posibles del parámetro.

Para problemas estadísticos prácticos, es importante determinar el MVUE, si existe, ya que naturalmente se evitarían procedimientos menos que óptimos, en igualdad de condiciones. Esto ha llevado a un desarrollo sustancial de la teoría estadística relacionada con el problema de la estimación óptima.

Si bien la combinación de la restricción de la imparcialidad con la métrica de deseabilidad de la menor variabilidad conduce a buenos resultados en la mayoría de los entornos prácticos, haciendo de MVUE un punto de partida natural para una amplia gama de análisis, una especificación específica puede funcionar mejor para un problema determinado; por lo tanto, MVUE no siempre es el mejor punto de parada.

Definición

Considerar la estimación ${\displaystyle g(\theta)}$ basado en datos ${\displaystyle X_{1},X_{2},\ldots X_{n}$ i.i.d. de algún miembro de una familia de densidades ${\displaystyle p_{\theta },\theta \in \Omega }$, donde ${\displaystyle \Omega }$ es el espacio del parámetro. Un estimador imparcial ${\displaystyle \delta (X_{1},X_{2},\ldotsX_{n}}$ de ${\displaystyle g(\theta)}$ es UMVUE si ${\displaystyle \forall \theta \in \Omega }$,

${\displaystyle \operatorname {var} (\delta (X_{1},X_{2},\ldotsX_{n})\leq \operatorname {var} ({\tilde {\delta }(X_{1},X_{2},\ldotsX_{n})}$

para cualquier otro estimador imparcial ${\displaystyle {\fnMicrosoft {\fnMicrosoft} }}$

Si un estimador imparcial de ${\displaystyle g(\theta)}$ existe, entonces uno puede probar que hay un MVUE esencialmente único. Usando el teorema Rao-Blackwell también se puede probar que determinar el MVUE es simplemente una cuestión de encontrar una estadística suficiente completa para la familia ${\displaystyle p_{\theta },\theta \in \Omega }$ y climatización cualquiera Estimador imparcial.

Además, según el teorema de Lehmann-Scheffé, un estimador insesgado que es función de un estadístico suficiente y completo es el estimador UMVUE.

Ponga formalmente, supongamos ${\displaystyle \delta (X_{1},X_{2},\ldotsX_{n}}$ es imparcial para ${\displaystyle g(\theta)}$, y eso ${\displaystyle T}$ es una estadística suficiente para la familia de las densidades. Entonces...

${\displaystyle \eta (X_{1},X_{2},\ldotsX_{n})=\operatorname {E} (\delta (X_{1},X_{2},\ldotsX_{n}\mid T)\,}$

es el MVUE para ${\displaystyle g(\theta).}$

Un análogo bayesiano es un estimador de Bayes, particularmente con error cuadrático medio mínimo (MMSE).

Selección del estimador

No es necesario que exista un estimador eficiente, pero si existe y es insesgado, es el MVUE. Dado que el error cuadrático medio (MSE) de un estimador δ es

${\displaystyle \operatorname {MSE} (\delta)=\operatorname {var} (\delta)+[\operatorname {bias} (\delta)]^{2}\ }$

el MVUE minimiza el MSE entre estimadores insesgados. En algunos casos, los estimadores sesgados tienen un MSE más bajo porque tienen una varianza menor que cualquier estimador insesgado; ver sesgo del estimador.

Ejemplo

Considere que los datos son una sola observación desde una distribución absolutamente continua ${\displaystyle \mathbb {R}$ con densidad

${\displaystyle p_{\theta }(x)={\frac {\theta e^{-x}{(1+e^{-x})}{\theta #$

y deseamos encontrar el estimador UMVU de

${\displaystyle g(\theta)={\frac {1}{\theta ^{2}}}$

Primero reconocemos que la densidad se puede escribir como

${\displaystyle {\frac {-e^{-x}{1+e^{-x}\exp(-\theta \log(1+e^{-x})+\log(\theta)}$

Que es una familia exponencial con suficiente estadística ${\displaystyle T=\log(1+e^{-x}}$. De hecho esta es una familia exponencial de rango completo, y por lo tanto ${\displaystyle T}$ es suficiente. Ver familia exponencial para una derivación que muestra

${\displaystyle \operatorname {E} (T)={\frac {1}{\theta }},\quad \operatorname {var} (T)={\frac {1}{\theta ^{2}}}}}} {\f}} {\f}}} {\f}}}}}}}}$

Por lo tanto,

${\displaystyle \operatorname {\fnK} {\fnK} {\fnK}}} {\fnK}} {\f}}} {\f}}} {\f}}}}} {\f} {\f}}}} {\f}}}}}$

Aquí usamos el teorema de Lehmann-Scheffé para obtener el MVUE

Claramente ${\displaystyle \delta (X)={\frac {T^{2}{2}}}} {\c}} {\c}}} {\c}}}} {\c}}}} {\c}}}}}}}} {\c}}}}}}}}}}}}} {\c}}}}}}}}}}}}}}}} {\c}}}}}}}}}}}}}}}}}}}}}}}}}}}} {}}}}}}} {}}}}}}}}}}} {}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}} {}}}}}} {}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}$ es imparcial y ${\displaystyle T=\log(1+e^{-x}}$ es suficiente, por lo tanto el estimador UMVU es

${\displaystyle \eta (X)=\operatorname {E} (\delta (X)\mid T)=\operatorname {E} \left(\left.{\frac {T^{2}}{2}}}\,\right sometida\,T\right)={\frac {\frac}{2}}={\frac {\frac {\log(1+e^{-X}}{2}}}}{2}}}} {}}}}}}{2}}}}}}}}}}}}} {\f}}}}} {\f}}} {\f}} {\f}}}}} {\f}} {\f}}}} {\f}}} {\f}}} {\f}} {\f}}}}} {\f}}}}}}}} {\f} {\f}}}}}}}}} {\f}}}}}}}}}}}}}}}}}}}}}}}}} {\f}}}}}}}$

Este ejemplo ilustra que una función insesgada del estadístico suficiente completo será UMVU, como establece el teorema de Lehmann-Scheffé.

Otros ejemplos

• Para una distribución normal con media y varianza desconocidas, la varianza muestral media y (sin imparcial) son los MVUE para la media poblacional y la varianza poblacional.

  Sin embargo, la desviación estándar de la muestra no es imparcial para la desviación estándar de la población – ver la estimación imparcial de la desviación estándar.

  Además, para otras distribuciones la media muestra y la varianza muestral no son en general MVUEs – para una distribución uniforme con límites superiores e inferiores desconocidos, el rango medio es el MVUE para la media poblacional.

• Si k se eligen ejemplares (sin reemplazo) de una distribución uniforme discreta sobre el conjunto {1, 2,..., N} con límite superior desconocido N, el MVUE para N es

${\displaystyle {\frac {k+1}{k}}m-1,}$

Donde m es el máximo de muestra. Se trata de una transformación escalada y desplazada (tan imparcial) del máximo de la muestra, que es una estadística suficiente y completa. Vea el problema del tanque alemán para detalles.