Inferencia estadística

La inferencia estadística es el proceso de utilizar el análisis de datos para inferir las propiedades de una distribución de probabilidad subyacente. El análisis estadístico inferencial infiere propiedades de una población, por ejemplo, probando hipótesis y obteniendo estimaciones. Se supone que el conjunto de datos observados se muestrea de una población más grande.

Las estadísticas inferenciales se pueden contrastar con las estadísticas descriptivas. La estadística descriptiva se ocupa únicamente de las propiedades de los datos observados y no se basa en la suposición de que los datos provienen de una población más grande. En el aprendizaje automático, el término inferencia se utiliza a veces para referirse a "hacer una predicción mediante la evaluación de un modelo ya entrenado"; en este contexto, la inferencia de propiedades del modelo se denomina entrenamiento o aprendizaje (en lugar de inferencia), y el uso de un modelo para la predicción se denomina a como inferencia (en lugar de predicción); ver también inferencia predictiva.

Introducción

La inferencia estadística hace proposiciones sobre una población, utilizando datos extraídos de la población con alguna forma de muestreo. Dada una hipótesis sobre una población, para la cual deseamos sacar inferencias, la inferencia estadística consiste en (primero) seleccionar un modelo estadístico del proceso que genera los datos y (segundo) deducir proposiciones del modelo.

Konishi &amperio; Kitagawa, "La mayoría de los problemas en la inferencia estadística pueden considerarse problemas relacionados con el modelado estadístico". En relación con esto, Sir David Cox ha dicho: "La forma en que [la] traducción del problema de la materia en cuestión se realiza a un modelo estadístico es a menudo la parte más crítica de un análisis".

La conclusión de una inferencia estadística es una proposición estadística. Algunas formas comunes de proposición estadística son las siguientes:

• a point estimate, i.e. a particular value that best aproximates some parameter of interest;
• un intervalo estimado, por ejemplo, un intervalo de confianza (o una estimación fija), es decir, un intervalo construido utilizando un conjunto de datos extraído de una población para que, bajo un muestreo repetido de dichos conjuntos de datos, tales intervalos contengan el verdadero valor del parámetro con la probabilidad a nivel de confianza declarado;
• un intervalo creíble, es decir, un conjunto de valores que contienen, por ejemplo, el 95% de la creencia posterior;
• rechazo de una hipótesis;
• agrupación o clasificación de puntos de datos en grupos.

Modelos y supuestos

Cualquier inferencia estadística requiere algunas suposiciones. Un modelo estadístico es un conjunto de suposiciones relativas a la generación de los datos observados y datos similares. Las descripciones de los modelos estadísticos generalmente enfatizan el papel de las cantidades de población de interés, sobre las cuales deseamos hacer inferencias. Las estadísticas descriptivas generalmente se usan como un paso preliminar antes de que se extraigan inferencias más formales.

Grado de modelos/supuestos

Los estadísticos distinguen entre tres niveles de supuestos de modelado;

• Totalmente paramétrica: Se supone que las distribuciones de probabilidad que describan el proceso de generación de datos son completamente descritas por una familia de distribuciones de probabilidad con un número finito de parámetros desconocidos. Por ejemplo, se puede suponer que la distribución de los valores demográficos es realmente Normal, con medios desconocidos y varianza, y que los conjuntos de datos se generan por muestreo aleatorio "simple". La familia de modelos lineales generalizados es una clase ampliamente utilizada y flexible de modelos paramétricos.
• No paramétrica: Las hipótesis sobre el proceso que genera los datos son mucho menos que en las estadísticas paramétricas y pueden ser mínimas. Por ejemplo, cada distribución de probabilidad continua tiene una mediana, que se puede estimar utilizando la mediana muestra o el estimador Hodges-Lehmann-Sen, que tiene buenas propiedades cuando los datos surgen de simple muestreo aleatorio.
• semiparamétrica: Este término normalmente implica supuestos 'en entre' enfoques totalmente y no paramétricos. Por ejemplo, se puede suponer que una distribución de la población tiene una media finita. Además, se puede suponer que el nivel medio de respuesta en la población depende de una manera verdaderamente lineal de algún covariado (una suposición paramétrica) pero no hacer ninguna suposición paramétrica que describa la varianza alrededor de ese medio (es decir, acerca de la presencia o posible forma de cualquier heteroscedasticidad). En términos más generales, los modelos semiparamétricos se pueden separar a menudo en componentes 'estructurales' y 'varicación rara'. Un componente se trata paramétricamente y el otro no paramétrico. El conocido modelo Cox es un conjunto de hipótesis semiparamétricas.

Importancia de modelos/supuestos válidos

La imagen anterior muestra un histograma evaluando la suposición de la normalidad, que se puede ilustrar a través de la incluso diseminada debajo de la curva de campana.

Cualquiera que sea el nivel de suposición que se haga, la inferencia correctamente calibrada, en general, requiere que estas suposiciones sean correctas; es decir, que los mecanismos de generación de datos realmente se han especificado correctamente.

Suposiciones incorrectas de ' sencillo' el muestreo aleatorio puede invalidar la inferencia estadística. Las suposiciones semiparamétricas y totalmente paramétricas más complejas también son motivo de preocupación. Por ejemplo, asumir incorrectamente el modelo de Cox puede, en algunos casos, llevar a conclusiones erróneas. Suposiciones incorrectas de Normalidad en la población también invalidan algunas formas de inferencia basada en regresión. La mayoría de los expertos en muestreo de poblaciones humanas ven con escepticismo el uso de cualquier modelo paramétrico: "la mayoría de los estadísticos de muestreo, cuando tratan con intervalos de confianza, se limitan a declaraciones sobre [estimadores] basados en en muestras muy grandes, donde el teorema del límite central asegura que estos [estimadores] tendrán distribuciones que son casi normales." En particular, una distribución normal "sería una suposición totalmente irreal y catastróficamente imprudente si estuviéramos tratando con cualquier tipo de población económica". Aquí, el teorema del límite central establece que la distribución de la media muestral "para muestras muy grandes" tiene una distribución aproximadamente normal, si la distribución no tiene colas pesadas.

Distribuciones aproximadas

Dada la dificultad de especificar distribuciones exactas de estadísticas de muestra, se han desarrollado muchos métodos para aproximarlas.

Con muestras finitas, los resultados de la aproximación miden qué tan cerca se acerca una distribución límite a la distribución muestral de la estadística: por ejemplo, con 10 000 muestras independientes, la distribución normal se aproxima (con dos dígitos de precisión) a la distribución de la media muestral para muchas distribuciones de población, por el teorema de Berry-Esseen. Sin embargo, para muchos propósitos prácticos, la aproximación normal proporciona una buena aproximación a la distribución de la media de la muestra cuando hay 10 (o más) muestras independientes, según los estudios de simulación y los estadísticos. experiencia. Siguiendo el trabajo de Kolmogorov en la década de 1950, la estadística avanzada utiliza la teoría de la aproximación y el análisis funcional para cuantificar el error de aproximación. En este enfoque, se estudia la geometría métrica de las distribuciones de probabilidad; este enfoque cuantifica el error de aproximación con, por ejemplo, la divergencia de Kullback-Leibler, la divergencia de Bregman y la distancia de Hellinger.

Con muestras indefinidamente grandes, los resultados limitantes, como el teorema del límite central, describen la distribución limitante de la estadística muestral, si existe. Los resultados limitantes no son afirmaciones sobre muestras finitas y, de hecho, son irrelevantes para muestras finitas. Sin embargo, la teoría asintótica de distribuciones limitantes a menudo se invoca para trabajar con muestras finitas. Por ejemplo, a menudo se invocan resultados limitantes para justificar el método generalizado de momentos y el uso de ecuaciones de estimación generalizadas, que son populares en econometría y bioestadística. La magnitud de la diferencia entre la distribución límite y la distribución real (formalmente, el 'error' de la aproximación) se puede evaluar mediante simulación. La aplicación heurística de limitar los resultados a muestras finitas es una práctica común en muchas aplicaciones, especialmente con modelos de baja dimensión con probabilidades log-cóncavas (como con familias exponenciales de un parámetro).

Modelos basados en aleatorización

Para un conjunto de datos dado que fue producido por un diseño de aleatorización, la distribución de aleatorización de una estadística (bajo la hipótesis nula) se define mediante la evaluación de la estadística de prueba para todos los planes que podría haber generado el diseño de aleatorización. En la inferencia frecuentista, la aleatorización permite que las inferencias se basen en la distribución aleatoria en lugar de en un modelo subjetivo, y esto es importante especialmente en el muestreo de encuestas y el diseño de experimentos. La inferencia estadística de estudios aleatorios también es más sencilla que muchas otras situaciones. En la inferencia bayesiana, la aleatorización también es importante: en el muestreo de encuestas, el uso de muestreo sin reemplazo asegura la intercambiabilidad de la muestra con la población; en experimentos aleatorios, la aleatorización garantiza una suposición aleatoria faltante para la información de covariables.

La aleatorización objetiva permite procedimientos correctamente inductivos. Muchos estadísticos prefieren el análisis basado en la aleatorización de los datos generados por procedimientos de aleatorización bien definidos. (Sin embargo, es cierto que en campos de la ciencia con conocimiento teórico desarrollado y control experimental, los experimentos aleatorios pueden aumentar los costos de experimentación sin mejorar la calidad de las inferencias). De manera similar, las principales autoridades estadísticas recomiendan los resultados de experimentos aleatorios porque permiten inferencias con mayor confiabilidad que los estudios observacionales de los mismos fenómenos. Sin embargo, un buen estudio observacional puede ser mejor que un mal experimento aleatorio.

El análisis estadístico de un experimento aleatorio puede basarse en el esquema de aleatorización establecido en el protocolo experimental y no necesita un modelo subjetivo.

Sin embargo, en cualquier momento, algunas hipótesis no pueden probarse utilizando modelos estadísticos objetivos, que describen con precisión experimentos aleatorios o muestras aleatorias. En algunos casos, tales estudios aleatorizados son antieconómicos o poco éticos.

Análisis basado en modelos de experimentos aleatorios

Es una práctica estándar referirse a un modelo estadístico, por ejemplo, modelos lineales o logísticos, cuando se analizan datos de experimentos aleatorios. Sin embargo, el esquema de aleatorización guía la elección de un modelo estadístico. No es posible elegir un modelo apropiado sin conocer el esquema de aleatorización. Se pueden obtener resultados seriamente engañosos analizando datos de experimentos aleatorios ignorando el protocolo experimental; Los errores comunes incluyen olvidar el bloqueo utilizado en un experimento y confundir mediciones repetidas en la misma unidad experimental con réplicas independientes del tratamiento aplicado a diferentes unidades experimentales.

Inferencia de aleatorización sin modelo

Las técnicas sin modelos proporcionan un complemento a los métodos basados en modelos, que emplean estrategias reduccionistas de simplificación de la realidad. Los primeros combinan, evolucionan, ensamblan y entrenan algoritmos adaptándose dinámicamente a las afinidades contextuales de un proceso y aprendiendo las características intrínsecas de las observaciones.

Por ejemplo, la regresión lineal simple sin modelo se basa en

• a diseño aleatorio, donde los pares de observaciones ()X1,Y1),()X2,Y2),⋯ ⋯ ,()Xn,Yn){displaystyle (X_{1},(X_{2},Y_{2}),cdots(X_{n},Y_{n})} son independientes y distribuidos idénticamente (iid), o
• a Diseño determinista, donde las variables X1,X2,⋯ ⋯ ,Xn{displaystyle X_{1},X_{2},cdotsX_{n} son deterministas, pero las variables de respuesta correspondientes Y1,Y2,⋯ ⋯ ,Yn{displaystyle Y... Y... son aleatorios e independientes con una distribución condicional común, es decir, P()Yj≤ ≤ Sí.SilencioXj=x)=Dx()Sí.){displaystyle Pleft(Y_{j}leq y habitX_{j}=xright)=D_{x}(y)}, que es independiente del índice j{displaystyle j}.

En cualquier caso, la inferencia de aleatorización libre de modelos para características de la distribución condicional común Dx().){displaystyle D_{x}(.) } depende de algunas condiciones de regularidad, por ejemplo, suavidad funcional. Por ejemplo, inferencia de aleatorización libre de modelos para la característica de población condicional, μ μ ()x)=E()YSilencioX=x){displaystyle mu (x)=E(Y sometidaX=x)}, se puede estimar constantemente a través de un promedio local o un ajuste polinomio local, bajo el supuesto de que μ μ ()x){displaystyle mu (x)} es suave. Además, apoyándonos en la normalidad asintotica o el resampling, podemos construir intervalos de confianza para la característica de la población, en este caso, condicional, μ μ ()x){displaystyle mu (x)}.

Paradigmas para la inferencia

Se han establecido diferentes escuelas de inferencia estadística. Estas escuelas, o "paradigmas", no se excluyen mutuamente, y los métodos que funcionan bien bajo un paradigma a menudo tienen interpretaciones atractivas bajo otros paradigmas.

Bandyopadhyay & Forster describe cuatro paradigmas: el paradigma clásico (o frecuentista), el paradigma bayesiano, el paradigma verosímilista y el paradigma basado en el criterio de información de Akaikean.

Inferencia frecuentista

Este paradigma calibra la plausibilidad de las proposiciones al considerar el muestreo repetido (nocional) de una distribución de población para producir conjuntos de datos similares al que tenemos a mano. Al considerar las características del conjunto de datos bajo muestreo repetido, se pueden cuantificar las propiedades frecuentistas de una propuesta estadística, aunque en la práctica esta cuantificación puede ser un desafío.

Ejemplos de inferencia frecuentista

• p-value
• Intervalo de confianza
• Pruebas de significado de hipótesis nula

Inferencia frecuentista, objetividad y teoría de la decisión

Una interpretación de la inferencia frecuentista (o inferencia clásica) es que es aplicable solo en términos de probabilidad de frecuencia; es decir, en términos de muestreo repetido de una población. Sin embargo, el enfoque de Neyman desarrolla estos procedimientos en términos de probabilidades previas al experimento. Es decir, antes de emprender un experimento, se decide una regla para llegar a una conclusión tal que se controle de manera adecuada la probabilidad de acertar: tal probabilidad no necesita una interpretación frecuentista o de muestreo repetido. Por el contrario, la inferencia bayesiana funciona en términos de probabilidades condicionales (es decir, probabilidades condicionadas a los datos observados), en comparación con las probabilidades marginales (pero condicionadas a parámetros desconocidos) utilizadas en el enfoque frecuentista.

Los procedimientos frecuentistas de las pruebas de significación y los intervalos de confianza se pueden construir sin tener en cuenta las funciones de utilidad. Sin embargo, algunos elementos de la estadística frecuentista, como la teoría de la decisión estadística, incorporan funciones de utilidad. En particular, los desarrollos frecuentistas de la inferencia óptima (como los estimadores insesgados de varianza mínima o las pruebas uniformemente más potentes) utilizan funciones de pérdida, que desempeñan el papel de funciones de utilidad (negativas). Las funciones de pérdida no necesitan establecerse explícitamente para que los teóricos estadísticos demuestren que un procedimiento estadístico tiene una propiedad de optimización. Sin embargo, las funciones de pérdida a menudo son útiles para establecer propiedades de optimización: por ejemplo, los estimadores de mediana insesgada son óptimos bajo funciones de pérdida de valor absoluto, ya que minimizan la pérdida esperada, y los estimadores de mínimos cuadrados son óptimos bajo funciones de pérdida de error cuadrático, ya que minimizar la pérdida esperada.

Si bien los estadísticos que utilizan la inferencia frecuentista deben elegir por sí mismos los parámetros de interés y los estimadores/estadísticos de prueba que se utilizarán, la ausencia de utilidades obviamente explícitas y distribuciones previas ha ayudado a que los procedimientos frecuentistas se consideren ampliamente como 'objetivos& #39;.

Inferencia bayesiana

El cálculo bayesiano describe los grados de creencia usando el 'lenguaje' de probabilidad; Las creencias son positivas, se integran en una y obedecen a axiomas de probabilidad. La inferencia bayesiana utiliza las creencias posteriores disponibles como base para hacer proposiciones estadísticas. Hay varias justificaciones diferentes para usar el enfoque bayesiano.

Ejemplos de inferencia bayesiana

• Intervalo creíble para estimación de intervalos
• Factores de bahía para comparación de modelos

Inferencia bayesiana, subjetividad y teoría de la decisión

Muchas inferencias bayesianas informales se basan en "intuitivamente razonables" resúmenes de la parte posterior. Por ejemplo, la media posterior, la mediana y la moda, los intervalos de densidad posterior más altos y los factores de Bayes pueden motivarse de esta manera. Si bien no es necesario establecer la función de utilidad de un usuario para este tipo de inferencia, todos estos resúmenes dependen (hasta cierto punto) de las creencias previas establecidas y, en general, se consideran conclusiones subjetivas. (Se han propuesto métodos de construcción previa que no requieren aportes externos, pero aún no se han desarrollado por completo).

Formalmente, la inferencia bayesiana se calibra con referencia a una utilidad o función de pérdida explícitamente establecida; la 'regla de Bayes' es la que maximiza la utilidad esperada, promediada sobre la incertidumbre posterior. Por lo tanto, la inferencia bayesiana formal proporciona automáticamente decisiones óptimas en un sentido teórico de la decisión. Dados los supuestos, los datos y la utilidad, la inferencia bayesiana se puede hacer esencialmente para cualquier problema, aunque no todas las inferencias estadísticas necesitan una interpretación bayesiana. Los análisis que no son formalmente bayesianos pueden ser (lógicamente) incoherentes; una característica de los procedimientos bayesianos que usan priores adecuados (es decir, aquellos integrables a uno) es que se garantiza que sean coherentes. Algunos defensores de la inferencia bayesiana afirman que la inferencia debe tener lugar en este marco teórico de decisión, y que la inferencia bayesiana no debe concluir con la evaluación y resumen de creencias posteriores.

Inferencia basada en probabilidades

El verosimilitud se acerca a las estadísticas mediante el uso de la función de probabilidad. Algunos verosimilistas rechazan la inferencia y consideran que las estadísticas son solo un soporte informático de la evidencia. Otros, sin embargo, proponen la inferencia basada en la función de verosimilitud, de las cuales la más conocida es la estimación de máxima verosimilitud.

Inferencia basada en AIC

El criterio de información de Akaike (AIC) es un estimador de la calidad relativa de los modelos estadísticos para un conjunto de datos determinado. Dada una colección de modelos para los datos, AIC estima la calidad de cada modelo, en relación con cada uno de los otros modelos. Por lo tanto, AIC proporciona un medio para la selección de modelos.

AIC se basa en la teoría de la información: ofrece una estimación de la información relativa que se pierde cuando se usa un modelo determinado para representar el proceso que generó los datos. (Al hacerlo, se trata de la compensación entre la bondad de ajuste del modelo y la simplicidad del modelo).

Otros paradigmas para la inferencia

Longitud mínima de la descripción

El principio de longitud mínima de descripción (MDL) se ha desarrollado a partir de ideas en la teoría de la información y la teoría de la complejidad de Kolmogorov. El principio (MDL) selecciona modelos estadísticos que comprimen al máximo los datos; la inferencia procede sin asumir 'mecanismos de generación de datos' contrafactuales o no falsificables; o modelos de probabilidad para los datos, como podría hacerse en enfoques frecuentistas o bayesianos.

Sin embargo, si un "mecanismo de generación de datos" existe en realidad, entonces, de acuerdo con el teorema de codificación fuente de Shannon, proporciona la descripción MDL de los datos, en promedio y asintóticamente. Al minimizar la longitud de la descripción (o la complejidad descriptiva), la estimación MDL es similar a la estimación de máxima verosimilitud y la estimación máxima a posteriori (utilizando priores bayesianos de máxima entropía). Sin embargo, MDL evita asumir que se conoce el modelo de probabilidad subyacente; el principio MDL también se puede aplicar sin suposiciones de que, p. los datos surgieron de un muestreo independiente.

El principio MDL se ha aplicado en la teoría de la codificación de la comunicación en la teoría de la información, en la regresión lineal y en la minería de datos.

La evaluación de procedimientos inferenciales basados en MDL a menudo utiliza técnicas o criterios de la teoría de la complejidad computacional.

Inferencia fiduciaria

La inferencia fiduciaria era un enfoque de la inferencia estadística basada en la probabilidad fiduciaria, también conocida como "distribución fiduciaria". En trabajos posteriores, este enfoque ha sido llamado mal definido, extremadamente limitado en su aplicabilidad e incluso falaz. Sin embargo, este argumento es el mismo que muestra que la llamada distribución de confianza no es una distribución de probabilidad válida y, dado que esto no ha invalidado la aplicación de los intervalos de confianza, no invalida necesariamente las conclusiones extraídas de los argumentos fiduciales. Se hizo un intento de reinterpretar el trabajo inicial del argumento fiduciario de Fisher como un caso especial de una teoría de inferencia que utiliza probabilidades superiores e inferiores.

Inferencia estructural

A partir de las ideas de Fisher y Pitman entre 1938 y 1939, George A. Barnard desarrolló la "inferencia estructural" o "inferencia fundamental", un enfoque que usa probabilidades invariantes en familias grupales. Barnard reformuló los argumentos detrás de la inferencia fiduciaria en una clase restringida de modelos en los que "fiducial" los procedimientos estarían bien definidos y serían útiles. Donald A. S. Fraser desarrolló una teoría general para la inferencia estructural basada en la teoría de grupos y la aplicó a modelos lineales. La teoría formulada por Fraser tiene estrechos vínculos con la teoría de la decisión y la estadística bayesiana y puede proporcionar reglas de decisión frecuentistas óptimas, si existen.

Temas de inferencia

Los temas a continuación generalmente se incluyen en el área de inferencia estadística.

1. Hipótesis estadísticas
2. Teoría de la decisión estadística
3. Estimation theory
4. Pruebas de hipótesis estadísticas
5. Revisión de opiniones en estadísticas
6. Diseño de experimentos, análisis de varianza y regresión
7. Muestra de encuestas
8. Resumiendo datos estadísticos

Inferencia predictiva

La inferencia predictiva es un enfoque de la inferencia estadística que enfatiza la predicción de observaciones futuras basadas en observaciones pasadas.

Inicialmente, la inferencia predictiva se basaba en parámetros observables y era el objetivo principal del estudio de la probabilidad, pero cayó en desgracia en el siglo XX debido a un nuevo enfoque paramétrico iniciado por Bruno de Finetti.. El enfoque modeló los fenómenos como un sistema físico observado con error (por ejemplo, la mecánica celeste). La idea de intercambiabilidad de De Finetti (que las observaciones futuras deberían comportarse como observaciones pasadas) llamó la atención del mundo de habla inglesa con la traducción del francés de 1974 de su artículo de 1937, y desde entonces ha sido propuesta por estadísticos como Seymour. Geisser.