Estadística

La estadística es la disciplina que se ocupa de la recopilación, organización, análisis, interpretación y presentación de datos. Al aplicar la estadística a un problema científico, industrial o social, es convencional comenzar con una población estadística o un modelo estadístico a estudiar. Las poblaciones pueden ser diversos grupos de personas u objetos como 'todas las personas que viven en un país' o 'cada átomo que compone un cristal'. Las estadísticas se ocupan de todos los aspectos de los datos, incluida la planificación de la recopilación de datos en términos del diseño de encuestas y experimentos.

Cuando no se pueden recopilar datos del censo, los estadísticos recopilan datos mediante el desarrollo de diseños de experimentos específicos y muestras de encuestas. El muestreo representativo asegura que las inferencias y conclusiones puedan extenderse razonablemente de la muestra a la población como un todo. Un estudio experimental implica tomar medidas del sistema bajo estudio, manipular el sistema y luego tomar medidas adicionales utilizando el mismo procedimiento para determinar si la manipulación ha modificado los valores de las medidas. Por el contrario, un estudio observacional no implica manipulación experimental.

En el análisis de datos se utilizan dos métodos estadísticos principales: la estadística descriptiva, que resume los datos de una muestra utilizando índices como la media o la desviación estándar, y la estadística inferencial, que extrae conclusiones de los datos que están sujetos a variaciones aleatorias (p. ej., errores de observación, variación de muestreo). Las estadísticas descriptivas se ocupan con mayor frecuencia de dos conjuntos de propiedades de una distribución (muestra o población): la tendencia central (o ubicación ) busca caracterizar el valor central o típico de la distribución, mientras que la dispersión (o variabilidad) caracteriza la medida en que los miembros de la distribución se apartan de su centro y entre sí. Las inferencias sobre estadística matemática se realizan bajo el marco de la teoría de la probabilidad, que se ocupa del análisis de fenómenos aleatorios.

Un procedimiento estadístico estándar implica la recopilación de datos que conducen a la prueba de la relación entre dos conjuntos de datos estadísticos, o un conjunto de datos y datos sintéticos extraídos de un modelo idealizado. Se propone una hipótesis para la relación estadística entre los dos conjuntos de datos, y se compara como una alternativa a una hipótesis nula idealizada de ausencia de relación entre dos conjuntos de datos. El rechazo o refutación de la hipótesis nula se realiza mediante pruebas estadísticas que cuantifican el sentido en que se puede demostrar que la nula es falsa, dados los datos que se utilizan en la prueba. A partir de una hipótesis nula, se reconocen dos formas básicas de error: Errores de tipo I (la hipótesis nula se rechaza falsamente dando un "falso positivo"Se han asociado múltiples problemas con este marco, que van desde obtener un tamaño de muestra suficiente hasta especificar una hipótesis nula adecuada.

Los procesos de medición que generan datos estadísticos también están sujetos a error. Muchos de estos errores se clasifican como aleatorios (ruido) o sistemáticos (sesgo), pero también pueden ocurrir otros tipos de errores (p. ej., errores garrafales, como cuando un analista informa unidades incorrectas). La presencia de datos faltantes o la censura pueden dar lugar a estimaciones sesgadas y se han desarrollado técnicas específicas para abordar estos problemas.

Introducción

La estadística es un cuerpo matemático de la ciencia que pertenece a la recopilación, análisis, interpretación o explicación y presentación de datos, o como una rama de las matemáticas. Algunos consideran que la estadística es una ciencia matemática distinta en lugar de una rama de las matemáticas. Si bien muchas investigaciones científicas hacen uso de datos, la estadística se ocupa del uso de datos en el contexto de la incertidumbre y la toma de decisiones frente a la incertidumbre.

Al aplicar la estadística a un problema, es una práctica común comenzar con una población o proceso a estudiar. Las poblaciones pueden ser temas diversos como "todas las personas que viven en un país" o "cada átomo que compone un cristal". Idealmente, los estadísticos compilan datos sobre toda la población (una operación llamada censo). Esto puede ser organizado por institutos de estadística gubernamentales. Las estadísticas descriptivas se pueden utilizar para resumir los datos de la población. Los descriptores numéricos incluyen la media y la desviación estándar para datos continuos (como ingresos), mientras que la frecuencia y el porcentaje son más útiles para describir datos categóricos (como educación).

Cuando un censo no es factible, se estudia un subconjunto elegido de la población llamado muestra. Una vez que se determina una muestra representativa de la población, se recopilan datos para los miembros de la muestra en un entorno de observación o experimental. Nuevamente, las estadísticas descriptivas se pueden usar para resumir los datos de la muestra. Sin embargo, extraer la muestra contiene un elemento de aleatoriedad; por lo tanto, los descriptores numéricos de la muestra también son propensos a la incertidumbre. Para sacar conclusiones significativas sobre toda la población, la estadística inferencialse necesita Utiliza patrones en los datos de la muestra para sacar inferencias sobre la población representada mientras se tiene en cuenta la aleatoriedad. Estas inferencias pueden tomar la forma de responder preguntas de sí/no sobre los datos (prueba de hipótesis), estimar características numéricas de los datos (estimación), describir asociaciones dentro de los datos (correlación) y modelar relaciones dentro de los datos (por ejemplo, usando análisis de regresión). La inferencia puede extenderse al pronóstico, la predicción y la estimación de valores no observados en la población que se está estudiando o asociados con ella. Puede incluir extrapolación e interpolación de series de tiempo o datos espaciales y minería de datos.

Estadística matemática

La estadística matemática es la aplicación de las matemáticas a la estadística. Las técnicas matemáticas utilizadas para esto incluyen el análisis matemático, el álgebra lineal, el análisis estocástico, las ecuaciones diferenciales y la teoría de la probabilidad de medida teórica.

Historia

Los primeros escritos sobre inferencia estadística se remontan a los matemáticos y criptógrafos árabes, durante la Edad de Oro islámica entre los siglos VIII y XIII. Al-Khalil (717–786) escribió el Libro de mensajes criptográficos , que contiene el primer uso de permutaciones y combinaciones, para enumerar todas las palabras árabes posibles con y sin vocales. En su libro, Manuscript on Deciphering Cryptographic Messages,Al-Kindi dio una descripción detallada de cómo usar el análisis de frecuencia para descifrar mensajes encriptados. Al-Kindi también hizo el primer uso conocido de la inferencia estadística, mientras que él y los criptógrafos árabes posteriores desarrollaron los primeros métodos estadísticos para decodificar mensajes cifrados. Ibn Adlan (1187-1268) más tarde hizo una importante contribución sobre el uso del tamaño de la muestra en el análisis de frecuencia.

Los primeros escritos europeos sobre estadísticas se remontan a 1663, con la publicación de Natural and Political Observations upon the Bills of Mortality de John Graunt. Las primeras aplicaciones del pensamiento estadístico giraban en torno a las necesidades de los estados de basar sus políticas en datos demográficos y económicos, de ahí su etimología estatal . El alcance de la disciplina de la estadística se amplió a principios del siglo XIX para incluir la recopilación y el análisis de datos en general. Hoy en día, la estadística se emplea ampliamente en el gobierno, los negocios y las ciencias naturales y sociales.

Los fundamentos matemáticos de la estadística moderna se establecieron en el siglo XVII con el desarrollo de la teoría de la probabilidad por parte de Gerolamo Cardano, Blaise Pascal y Pierre de Fermat. La teoría matemática de la probabilidad surge del estudio de los juegos de azar, aunque el concepto de probabilidad ya fue examinado en el derecho medieval y por filósofos como Juan Caramuel. El método de los mínimos cuadrados fue descrito por primera vez por Adrien-Marie Legendre en 1805.

El campo moderno de la estadística surgió a finales del siglo XIX y principios del XX en tres etapas. La primera ola, a principios de siglo, estuvo liderada por el trabajo de Francis Galton y Karl Pearson, quienes transformaron la estadística en una rigurosa disciplina matemática utilizada para el análisis, no solo en la ciencia, sino también en la industria y la política. Las contribuciones de Galton incluyeron la introducción de los conceptos de desviación estándar, correlación, análisis de regresión y la aplicación de estos métodos al estudio de la variedad de características humanas: altura, peso, longitud de las pestañas, entre otras. Pearson desarrolló el coeficiente de correlación producto-momento de Pearson, definido como producto-momento, el método de momentos para el ajuste de distribuciones a muestras y la distribución de Pearson, entre muchas otras cosas.Galton y Pearson fundaron Biometrika como la primera revista de estadística matemática y bioestadística (entonces llamada biometría), y este último fundó el primer departamento universitario de estadística del mundo en el University College London.

Ronald Fisher acuñó el término hipótesis nula durante el experimento Lady degustando té, que "nunca se prueba ni se establece, pero posiblemente se refute, en el curso de la experimentación".

La segunda ola de las décadas de 1910 y 1920 fue iniciada por William Sealy Gosset y alcanzó su culminación con las ideas de Ronald Fisher, quien escribió los libros de texto que definirían la disciplina académica en las universidades de todo el mundo. Las publicaciones más importantes de Fisher fueron su artículo seminal de 1918 The Correlation between Relatives on the Supposition of Mendelian Inheritance (que fue el primero en usar el término estadístico, varianza), su trabajo clásico de 1925 Statistical Methods for Research Workers y su 1935 The Design of Experiments . donde desarrolló modelos rigurosos de diseño de experimentos. Él originó los conceptos de suficiencia, estadísticas auxiliares, discriminador lineal de Fisher e información de Fisher. En su libro de 1930La Teoría genética de la selección natural , aplicó estadísticas a varios conceptos biológicos como el principio de Fisher (que AWF Edwards llamó "probablemente el argumento más célebre en biología evolutiva") y Fisherian runaway, un concepto en selección sexual sobre un efecto de retroalimentación positiva. en evolución

La ola final, que vio principalmente el refinamiento y la expansión de desarrollos anteriores, surgió del trabajo colaborativo entre Egon Pearson y Jerzy Neyman en la década de 1930. Introdujeron los conceptos de error "Tipo II", potencia de una prueba e intervalos de confianza. Jerzy Neyman en 1934 demostró que el muestreo aleatorio estratificado era en general un mejor método de estimación que el muestreo intencional (por cuotas).

Hoy en día, los métodos estadísticos se aplican en todos los campos que involucran la toma de decisiones, para hacer inferencias precisas a partir de un conjunto de datos cotejados y para tomar decisiones ante la incertidumbre con base en la metodología estadística. El uso de computadoras modernas ha acelerado los cálculos estadísticos a gran escala y también ha hecho posibles nuevos métodos que no son prácticos de realizar manualmente. La estadística sigue siendo un área de investigación activa, por ejemplo, sobre el problema de cómo analizar los grandes datos.

Datos estadísticos

Recopilación de datos

Muestreo

Cuando no se pueden recopilar datos completos del censo, los estadísticos recopilan datos de muestra mediante el desarrollo de diseños de experimentos específicos y muestras de encuestas. La propia estadística también proporciona herramientas para la predicción y el pronóstico a través de modelos estadísticos.

Para utilizar una muestra como guía para toda la población, es importante que realmente represente a la población general. El muestreo representativo asegura que las inferencias y conclusiones puedan extenderse con seguridad desde la muestra a la población como un todo. Un problema importante radica en determinar hasta qué punto la muestra elegida es realmente representativa. Las estadísticas ofrecen métodos para estimar y corregir cualquier sesgo dentro de la muestra y los procedimientos de recopilación de datos. También existen métodos de diseño experimental para experimentos que pueden disminuir estos problemas al comienzo de un estudio, fortaleciendo su capacidad para discernir verdades sobre la población.

La teoría del muestreo es parte de la disciplina matemática de la teoría de la probabilidad. La probabilidad se utiliza en estadística matemática para estudiar las distribuciones muestrales de las estadísticas muestrales y, de manera más general, las propiedades de los procedimientos estadísticos. El uso de cualquier método estadístico es válido cuando el sistema o población bajo consideración satisface los supuestos del método. La diferencia de punto de vista entre la teoría clásica de la probabilidad y la teoría del muestreo es, aproximadamente, que la teoría de la probabilidad parte de los parámetros dados de una población total para deducir las probabilidades que pertenecen a las muestras. La inferencia estadística, sin embargo, se mueve en la dirección opuesta, infiriendo inductivamente de muestras a los parámetros de una población más grande o total.

Estudios experimentales y observacionales

Un objetivo común para un proyecto de investigación estadística es investigar la causalidad y, en particular, sacar una conclusión sobre el efecto de los cambios en los valores de los predictores o variables independientes en las variables dependientes. Hay dos tipos principales de estudios estadísticos causales: estudios experimentales y estudios observacionales. En ambos tipos de estudios se observa el efecto de las diferencias de una variable (o variables) independiente sobre el comportamiento de la variable dependiente. La diferencia entre los dos tipos radica en cómo se realiza realmente el estudio. Cada uno puede ser muy eficaz. Un estudio experimental implica tomar medidas del sistema bajo estudio, manipular el sistema y luego tomar medidas adicionales utilizando el mismo procedimiento para determinar si la manipulación ha modificado los valores de las medidas. A diferencia de, un estudio observacional no implica manipulación experimental. En su lugar, se recopilan datos y se investigan las correlaciones entre los predictores y la respuesta. Si bien las herramientas de análisis de datos funcionan mejor con datos de estudios aleatorios, también se aplican a otros tipos de datos, como experimentos naturales y estudios observacionales, para los cuales un estadístico usaría un método de estimación modificado y más estructurado (p. ej., Diferencia en diferencias estimación y variables instrumentales, entre muchas otras) que producen estimadores consistentes.

Experimentos

Los pasos básicos de un experimento estadístico son:

1. Planificar la investigación, incluida la búsqueda del número de réplicas del estudio, utilizando la siguiente información: estimaciones preliminares sobre el tamaño de los efectos del tratamiento, hipótesis alternativas y la variabilidad experimental estimada. Es necesario considerar la selección de sujetos experimentales y la ética de la investigación. Los estadísticos recomiendan que los experimentos comparen (al menos) un nuevo tratamiento con un tratamiento o control estándar, para permitir una estimación imparcial de la diferencia en los efectos del tratamiento.
2. Diseño de experimentos, utilizando bloques para reducir la influencia de las variables de confusión y asignación aleatoria de tratamientos a los sujetos para permitir estimaciones imparciales de los efectos del tratamiento y el error experimental. En esta etapa, los experimentadores y estadísticos escriben el protocolo experimental que guiará la realización del experimento y que especifica el análisis primario de los datos experimentales.
3. Realizando el experimento siguiendo el protocolo experimental y analizando los datos siguiendo el protocolo experimental.
4. Examinar más a fondo el conjunto de datos en análisis secundarios, para sugerir nuevas hipótesis para estudios futuros.
5. Documentar y presentar los resultados del estudio.

Los experimentos sobre el comportamiento humano tienen preocupaciones especiales. El famoso estudio de Hawthorne examinó los cambios en el entorno laboral en la planta Hawthorne de Western Electric Company. Los investigadores estaban interesados ​​en determinar si una mayor iluminación aumentaría la productividad de los trabajadores de la línea de montaje. Los investigadores primero midieron la productividad en la planta, luego modificaron la iluminación en un área de la planta y verificaron si los cambios en la iluminación afectaban la productividad. Resultó que la productividad de hecho mejoró (bajo las condiciones experimentales). Sin embargo, el estudio es fuertemente criticado hoy por errores en los procedimientos experimentales, específicamente por la falta de un grupo de control y ceguera. El efecto Hawthorne se refiere a encontrar que un resultado (en este caso, la productividad del trabajador) cambió debido a la observación misma.

Estudio observacional

Un ejemplo de un estudio observacional es uno que explora la asociación entre fumar y el cáncer de pulmón. Este tipo de estudio suele utilizar una encuesta para recopilar observaciones sobre el área de interés y luego realiza un análisis estadístico. En este caso, los investigadores recolectarían observaciones de fumadores y no fumadores, quizás a través de un estudio de cohortes, y luego buscarían la cantidad de casos de cáncer de pulmón en cada grupo. Un estudio de casos y controles es otro tipo de estudio observacional en el que se invita a participar a personas con y sin el resultado de interés (p. ej., cáncer de pulmón) y se recopilan sus antecedentes de exposición.

Tipos de datos

Se han hecho varios intentos para producir una taxonomía de niveles de medición. El psicofísico Stanley Smith Stevens definió escalas nominales, ordinales, de intervalo y de razón. Las medidas nominales no tienen un orden de rango significativo entre los valores y permiten cualquier transformación uno a uno (inyectiva). Las medidas ordinales tienen diferencias imprecisas entre valores consecutivos, pero tienen un orden significativo para esos valores y permiten cualquier transformación que preserve el orden. Las mediciones de intervalo tienen distancias significativas entre las mediciones definidas, pero el valor cero es arbitrario (como en el caso de las mediciones de temperatura y longitud en Celsius o Fahrenheit) y permiten cualquier transformación lineal. Las medidas de relación tienen tanto un valor cero significativo como las distancias entre diferentes medidas definidas, y permiten cualquier transformación de cambio de escala.

Debido a que las variables que se ajustan solo a medidas nominales u ordinales no pueden medirse numéricamente de manera razonable, a veces se agrupan como variables categóricas, mientras que las medidas de razón e intervalo se agrupan como variables cuantitativas, que pueden ser discretas o continuas, debido a su naturaleza numérica. Tales distinciones a menudo se pueden correlacionar vagamente con el tipo de datos en informática, en el sentido de que las variables categóricas dicotómicas se pueden representar con el tipo de datos booleano, las variables categóricas politómicas con números enteros asignados arbitrariamente en el tipo de datos integral y las variables continuas con el tipo de datos real que involucra Cálculo de punto flotante. Pero la asignación de tipos de datos informáticos a tipos de datos estadísticos depende de qué categorización de estos últimos se implemente.

Se han propuesto otras categorizaciones. Por ejemplo, Mosteller y Tukey (1977) distinguieron grados, rangos, fracciones contadas, cuentas, cantidades y saldos. Nelder (1990) describió conteos continuos, razones continuas, razones de conteo y modos categóricos de datos. (Ver también: Chrisman (1998), van den Berg (1991). )

La cuestión de si es apropiado o no aplicar diferentes tipos de métodos estadísticos a los datos obtenidos de diferentes tipos de procedimientos de medición se complica por cuestiones relacionadas con la transformación de variables y la interpretación precisa de las preguntas de investigación. "La relación entre los datos y lo que describen simplemente refleja el hecho de que ciertos tipos de enunciados estadísticos pueden tener valores de verdad que no son invariantes bajo algunas transformaciones. Si una transformación es o no sensata para contemplar depende de la pregunta que uno está tratando de responder. ."

Métodos

Estadísticas descriptivas

Una estadística descriptiva (en el sentido de sustantivo contable) es una estadística de resumen que describe o resume cuantitativamente las características de una colección de información, mientras que la estadística descriptiva en el sentido de sustantivo masivo es el proceso de usar y analizar esas estadísticas. La estadística descriptiva se distingue de la estadística inferencial (o estadística inductiva), en que la estadística descriptiva tiene como objetivo resumir una muestra, en lugar de utilizar los datos para aprender sobre la población que se cree que representa la muestra de datos.

Estadística inferencial

La inferencia estadística es el proceso de utilizar el análisis de datos para deducir las propiedades de una distribución de probabilidad subyacente. El análisis estadístico inferencial infiere propiedades de una población, por ejemplo, al probar hipótesis y derivar estimaciones. Se supone que el conjunto de datos observados se muestrea de una población más grande. Las estadísticas inferenciales se pueden contrastar con las estadísticas descriptivas. La estadística descriptiva se ocupa únicamente de las propiedades de los datos observados y no se basa en la suposición de que los datos provienen de una población más grande.

Terminología y teoría de la estadística inferencial

Estadísticas, estimadores y cantidades pivotales

Considere variables aleatorias independientes distribuidas de forma idéntica (IID) con una distribución de probabilidad determinada: la teoría de estimación e inferencia estadística estándar define una muestra aleatoria como el vector aleatorio dado por el vector de columna de estas variables IID. La población que se examina se describe mediante una distribución de probabilidad que puede tener parámetros desconocidos.

Una estadística es una variable aleatoria que es una función de la muestra aleatoria, pero no una función de parámetros desconocidos . Sin embargo, la distribución de probabilidad de la estadística puede tener parámetros desconocidos. Considere ahora una función del parámetro desconocido: un estimador es una estadística utilizada para estimar dicha función. Los estimadores de uso común incluyen la media muestral, la varianza muestral imparcial y la covarianza muestral.

Una variable aleatoria que es una función de la muestra aleatoria y del parámetro desconocido, pero cuya distribución de probabilidad no depende del parámetro desconocido se denomina cantidad pivote o pivote. Los pivotes ampliamente utilizados incluyen el puntaje z, la estadística chi cuadrada y el valor t de Student.

Entre dos estimadores de un parámetro dado, se dice que el que tiene menor error cuadrático medio es más eficiente. Además, se dice que un estimador es insesgado si su valor esperado es igual al valor real del parámetro desconocido que se estima, y ​​asintóticamente insesgado si su valor esperado converge en el límite con el valor real de dicho parámetro.

Otras propiedades deseables para los estimadores incluyen: Estimadores UMVUE que tienen la varianza más baja para todos los valores posibles del parámetro a estimar (esta suele ser una propiedad más fácil de verificar que la eficiencia) y estimadores consistentes que convergen en probabilidad al valor real de dicho parámetro. .

Esto aún deja la cuestión de cómo obtener estimadores en una situación dada y realizar el cálculo. Se han propuesto varios métodos: el método de los momentos, el método de máxima verosimilitud, el método de mínimos cuadrados y el método más reciente de estimación de ecuaciones.

Hipótesis nula e hipótesis alternativa

La interpretación de la información estadística a menudo puede implicar el desarrollo de una hipótesis nula que generalmente (pero no necesariamente) es que no existe una relación entre las variables o que no se produjo ningún cambio a lo largo del tiempo.

La mejor ilustración para un novato es el predicamento que enfrenta un proceso penal. La hipótesis nula, H ₀ , afirma que el acusado es inocente, mientras que la hipótesis alternativa, H ₁ , afirma que el acusado es culpable. La acusación se produce por sospecha de culpabilidad. El H ₀ (status quo) se opone a H ₁ y se mantiene a menos que H ₁ esté respaldado por evidencia "más allá de toda duda razonable". Sin embargo, "no rechazar H ₀ " en este caso no implica inocencia, sino simplemente que las pruebas fueron insuficientes para condenar. Entonces el jurado no necesariamente acepta H ₀ pero no rechaza H₀ _ Si bien no se puede "probar" una hipótesis nula, se puede probar qué tan cerca está de ser cierta con una prueba de potencia, que prueba los errores de tipo II.

Lo que los estadísticos llaman hipótesis alternativa es simplemente una hipótesis que contradice la hipótesis nula.

Error

Partiendo de una hipótesis nula, se reconocen dos amplias categorías de error:

• Errores tipo I donde se rechaza falsamente la hipótesis nula, dando un "falso positivo".
• Errores de tipo II en los que no se rechaza la hipótesis nula y se pasa por alto una diferencia real entre las poblaciones, dando un "falso negativo".

La desviación estándar se refiere a la medida en que las observaciones individuales en una muestra difieren de un valor central, como la muestra o la media de la población, mientras que el error estándar se refiere a una estimación de la diferencia entre la media de la muestra y la media de la población.

Un error estadístico es la cantidad por la cual una observación difiere de su valor esperado. Un residuo es la cantidad que una observación difiere del valor que asume el estimador del valor esperado en una muestra dada (también llamada predicción).

El error cuadrático medio se utiliza para obtener estimadores eficientes, una clase de estimadores muy utilizada. La raíz del error cuadrático medio es simplemente la raíz cuadrada del error cuadrático medio.

Muchos métodos estadísticos buscan minimizar la suma residual de cuadrados, y estos se denominan "métodos de mínimos cuadrados" en contraste con las desviaciones mínimas absolutas. Este último da igual peso a los errores pequeños y grandes, mientras que el primero da más peso a los errores grandes. La suma residual de cuadrados también es diferenciable, lo que proporciona una propiedad útil para hacer regresiones. Los mínimos cuadrados aplicados a la regresión lineal se denominan método de mínimos cuadrados ordinarios y los mínimos cuadrados aplicados a la regresión no lineal se denominan mínimos cuadrados no lineales. También en un modelo de regresión lineal, la parte no determinista del modelo se denomina término de error, perturbación o, más simplemente, ruido. Tanto la regresión lineal como la regresión no lineal se abordan en mínimos cuadrados polinómicos,

Los procesos de medición que generan datos estadísticos también están sujetos a error. Muchos de estos errores se clasifican como aleatorios (ruido) o sistemáticos (sesgo), pero otros tipos de errores (p. ej., errores garrafales, como cuando un analista informa unidades incorrectas) también pueden ser importantes. La presencia de datos faltantes o la censura pueden dar lugar a estimaciones sesgadas y se han desarrollado técnicas específicas para abordar estos problemas.

Estimación de intervalo

La mayoría de los estudios solo muestrean una parte de una población, por lo que los resultados no representan completamente a toda la población. Cualquier estimación obtenida de la muestra solo se aproxima al valor de la población. Los intervalos de confianza permiten a los estadísticos expresar en qué medida la estimación de la muestra coincide con el valor real en toda la población. A menudo se expresan como intervalos de confianza del 95%. Formalmente, un intervalo de confianza del 95 % para un valor es un rango en el que, si el muestreo y el análisis se repitieran en las mismas condiciones (lo que genera un conjunto de datos diferente), el intervalo incluiría el valor real (población) en el 95 % de todos los casos posibles. . esto noimplica que la probabilidad de que el valor verdadero esté en el intervalo de confianza es del 95%. Desde la perspectiva frecuentista, tal afirmación ni siquiera tiene sentido, ya que el verdadero valor no es una variable aleatoria. El valor verdadero está o no dentro del intervalo dado. Sin embargo, es cierto que, antes de muestrear cualquier dato y darle un plan sobre cómo construir el intervalo de confianza, la probabilidad es del 95% de que el intervalo aún por calcular cubra el valor verdadero: en este punto, el los límites del intervalo son variables aleatorias aún por observar. Un enfoque que produce un intervalo que puede interpretarse como que tiene una probabilidad dada de contener el valor verdadero es usar un intervalo creíble de las estadísticas bayesianas: este enfoque depende de una forma diferente de interpretar lo que significa "probabilidad",

En principio, los intervalos de confianza pueden ser simétricos o asimétricos. Un intervalo puede ser asimétrico porque funciona como límite inferior o superior para un parámetro (intervalo del lado izquierdo o intervalo del lado derecho), pero también puede ser asimétrico porque el intervalo de dos lados se construye violando la simetría alrededor de la estimación. A veces, los límites de un intervalo de confianza se alcanzan de forma asintótica y se utilizan para aproximar los límites reales.

Significado

Las estadísticas rara vez dan una respuesta simple del tipo Sí/No a la pregunta que se analiza. La interpretación a menudo se reduce al nivel de significación estadística aplicado a los números y, a menudo, se refiere a la probabilidad de que un valor rechace con precisión la hipótesis nula (a veces denominado valor p).

El enfoque estándar es probar una hipótesis nula contra una hipótesis alternativa. Una región crítica es el conjunto de valores del estimador que lleva a refutar la hipótesis nula. La probabilidad de error tipo I es por tanto la probabilidad de que el estimador pertenezca a la región crítica dado que la hipótesis nula es verdadera (significación estadística) y la probabilidad de error tipo II es la probabilidad de que el estimador no pertenezca a la región crítica dada que la hipótesis alternativa es verdadera. El poder estadístico de una prueba es la probabilidad de que rechace correctamente la hipótesis nula cuando la hipótesis nula es falsa.

Hacer referencia a la significancia estadística no significa necesariamente que el resultado general sea significativo en términos del mundo real. Por ejemplo, en un estudio grande de un fármaco se puede demostrar que el fármaco tiene un efecto beneficioso estadísticamente significativo pero muy pequeño, de modo que es poco probable que el fármaco ayude al paciente de forma notable.

Aunque en principio el nivel aceptable de significancia estadística puede estar sujeto a debate, el nivel de significancia es el valor p más grande que permite que la prueba rechace la hipótesis nula. Esta prueba es lógicamente equivalente a decir que el valor p es la probabilidad, suponiendo que la hipótesis nula sea verdadera, de observar un resultado al menos tan extremo como el estadístico de prueba. Por lo tanto, cuanto menor sea el nivel de significación, menor será la probabilidad de cometer un error tipo I.

Algunos problemas suelen estar asociados con este marco (Ver crítica de la prueba de hipótesis):

• Una diferencia que es estadísticamente significativa aún puede no tener importancia práctica, pero es posible formular pruebas apropiadas para dar cuenta de esto. Una respuesta implica ir más allá de informar solo el nivel de significación para incluir el valor p al informar si se rechaza o acepta una hipótesis. El valor p, sin embargo, no indica el tamaño o la importancia del efecto observado y también puede parecer que exagera la importancia de las diferencias menores en estudios grandes. Un enfoque mejor y cada vez más común es reportar intervalos de confianza. Aunque estos se producen a partir de los mismos cálculos que los de las pruebas de hipótesis o los valores de p , describen tanto el tamaño del efecto como la incertidumbre que lo rodea.
• Falacia del condicional transpuesto, también conocida como falacia del fiscal: las críticas surgen porque el enfoque de prueba de hipótesis obliga a favorecer una hipótesis (la hipótesis nula), ya que lo que se evalúa es la probabilidad del resultado observado dada la hipótesis nula y no la probabilidad del resultado. hipótesis nula dado el resultado observado. Una alternativa a este enfoque la ofrece la inferencia bayesiana, aunque requiere establecer una probabilidad previa.
• Rechazar la hipótesis nula no prueba automáticamente la hipótesis alternativa.
• Como todo en las estadísticas inferenciales, se basa en el tamaño de la muestra y, por lo tanto, en las colas gruesas, los valores p pueden calcularse incorrectamente.

Ejemplos

Algunas pruebas y procedimientos estadísticos bien conocidos son:

• Análisis de varianza (ANOVA)
• Prueba de chi-cuadrado
• Correlación
• Análisis factorial
• Mann-Whitney U
• Desviación media cuadrática ponderada (MSWD)
• Coeficiente de correlación producto-momento de Pearson
• Análisis de regresión
• Coeficiente de correlación de rango de Spearman
• Prueba t de Student
• Análisis de series temporales
• Análisis conjunto

Análisis exploratorio de datos

El análisis exploratorio de datos ( EDA ) es un enfoque para analizar conjuntos de datos para resumir sus características principales, a menudo con métodos visuales. Se puede usar o no un modelo estadístico, pero principalmente EDA es para ver lo que los datos pueden decirnos más allá del modelado formal o la tarea de prueba de hipótesis.

Mal uso

El mal uso de las estadísticas puede producir errores sutiles pero graves en la descripción y la interpretación, sutiles en el sentido de que incluso los profesionales experimentados cometen tales errores, y graves en el sentido de que pueden conducir a errores de decisión devastadores. Por ejemplo, la política social, la práctica médica y la confiabilidad de estructuras como los puentes se basan en el uso adecuado de las estadísticas.

Incluso cuando las técnicas estadísticas se aplican correctamente, los resultados pueden ser difíciles de interpretar para aquellos que carecen de experiencia. La importancia estadística de una tendencia en los datos, que mide hasta qué punto una tendencia podría ser causada por una variación aleatoria en la muestra, puede o no estar de acuerdo con un sentido intuitivo de su importancia. El conjunto de habilidades estadísticas básicas (y escepticismo) que las personas necesitan para manejar adecuadamente la información en su vida cotidiana se conoce como alfabetización estadística.

Existe una percepción general de que el conocimiento estadístico se usa con demasiada frecuencia de manera intencional al encontrar formas de interpretar solo los datos que son favorables para el presentador. La desconfianza y la incomprensión de las estadísticas están asociadas con la cita: "Hay tres tipos de mentiras: mentiras, malditas mentiras y estadísticas". El mal uso de las estadísticas puede ser tanto involuntario como intencional, y el libro How to Lie with Statistics , de Darrell Huff, describe una serie de consideraciones. En un intento por arrojar luz sobre el uso y el mal uso de las estadísticas, se realizan revisiones de las técnicas estadísticas utilizadas en campos particulares (p. ej., Warne, Lazo, Ramos y Ritter (2012)).

Las formas de evitar el mal uso de las estadísticas incluyen el uso de diagramas adecuados y evitar el sesgo. El mal uso puede ocurrir cuando las conclusiones se generalizan en exceso y se afirma que son representativas de más de lo que realmente son, a menudo pasando por alto deliberada o inconscientemente el sesgo de muestreo. Se puede decir que los gráficos de barras son los diagramas más fáciles de usar y comprender, y se pueden hacer a mano o con programas de computadora simples. Desafortunadamente, la mayoría de las personas no buscan sesgos o errores, por lo que no se notan. Por lo tanto, las personas a menudo pueden creer que algo es cierto incluso si no está bien representado. Para que los datos recopilados de las estadísticas sean creíbles y precisos, la muestra tomada debe ser representativa del todo.Según Huff, "la confiabilidad de una muestra puede ser destruida por [sesgo]... permítase cierto grado de escepticismo".

Para ayudar en la comprensión de las estadísticas, Huff propuso una serie de preguntas para cada caso:

• ¿Quién dice eso? (¿Tiene él / ella un hacha para moler?)
• ¿Cómo sabe él/ella? (¿Tiene los recursos para conocer los hechos?)
• ¿Qué falta? (¿Él / ella nos da una imagen completa?)
• ¿Alguien cambió de tema? (¿Nos ofrece la respuesta correcta al problema equivocado?)
• ¿Tiene sentido? (¿Es su conclusión lógica y consistente con lo que ya sabemos?)

Interpretación errónea: correlación

El concepto de correlación es particularmente notable por la posible confusión que puede causar. El análisis estadístico de un conjunto de datos a menudo revela que dos variables (propiedades) de la población bajo consideración tienden a variar juntas, como si estuvieran conectadas. Por ejemplo, un estudio de ingresos anuales que también analice la edad de muerte podría encontrar que las personas pobres tienden a tener una vida más corta que las personas ricas. Se dice que las dos variables están correlacionadas; sin embargo, pueden o no ser la causa de la otra. Los fenómenos de correlación podrían ser causados ​​por un tercer fenómeno, previamente no considerado, llamado variable oculta o variable de confusión. Por esta razón, no hay forma de inferir inmediatamente la existencia de una relación causal entre las dos variables.

Aplicaciones

Estadística aplicada, estadística teórica y estadística matemática

La estadística aplicada, a veces denominada ciencia estadística, comprende la estadística descriptiva y la aplicación de la estadística inferencial. La estadística teórica se refiere a los argumentos lógicos que subyacen a la justificación de los enfoques de la inferencia estadística, además de abarcar las estadísticas matemáticas . La estadística matemática incluye no solo la manipulación de las distribuciones de probabilidad necesarias para obtener resultados relacionados con los métodos de estimación e inferencia, sino también varios aspectos de la estadística computacional y el diseño de experimentos.

Los consultores estadísticos pueden ayudar a las organizaciones y empresas que no tienen experiencia interna relevante para sus preguntas particulares.

Aprendizaje automático y minería de datos

Los modelos de aprendizaje automático son modelos estadísticos y probabilísticos que capturan patrones en los datos mediante el uso de algoritmos computacionales.

Estadísticas en la academia

La estadística es aplicable a una amplia variedad de disciplinas académicas, incluidas las ciencias naturales y sociales, el gobierno y los negocios. Las estadísticas comerciales aplican métodos estadísticos en econometría, auditoría y producción y operaciones, incluida la mejora de los servicios y la investigación de mercados. Un estudio de dos revistas de biología tropical encontró que las 12 pruebas estadísticas más frecuentes son: Análisis de Varianza (ANOVA), Prueba Chi-Cuadrado, Prueba T de Student, Regresión Lineal, Coeficiente de Correlación de Pearson, Prueba U de Mann-Whitney, Prueba de Kruskal-Wallis Prueba, índice de diversidad de Shannon, prueba de Tukey, análisis de conglomerados, prueba de correlación de rangos de Spearman y análisis de componentes principales.

Un curso típico de estadística cubre estadísticas descriptivas, probabilidad, distribuciones normales y binomiales, prueba de hipótesis e intervalos de confianza, regresión lineal y correlación. Los cursos modernos de estadística fundamental para estudiantes de pregrado se centran en la selección correcta de pruebas, la interpretación de resultados y el uso de software gratuito de estadísticas.

Computación estadística

Los aumentos rápidos y sostenidos en el poder de cómputo a partir de la segunda mitad del siglo XX han tenido un impacto sustancial en la práctica de la ciencia estadística. Los primeros modelos estadísticos eran casi siempre de la clase de modelos lineales, pero las computadoras potentes, junto con los algoritmos numéricos adecuados, provocaron un mayor interés en los modelos no lineales (como las redes neuronales), así como la creación de nuevos tipos, como los modelos lineales generalizados. y modelos multinivel.

El aumento de la potencia informática también ha llevado a la creciente popularidad de los métodos computacionalmente intensivos basados ​​en el remuestreo, como las pruebas de permutación y el arranque, mientras que técnicas como el muestreo de Gibbs han hecho que el uso de modelos bayesianos sea más factible. La revolución informática tiene implicaciones para el futuro de las estadísticas con un nuevo énfasis en las estadísticas "experimentales" y "empíricas". Actualmente se dispone de un gran número de programas estadísticos de propósito general y especial. Los ejemplos de software disponibles capaces de realizar cálculos estadísticos complejos incluyen programas como Mathematica, SAS, SPSS y R.

Estadísticas de negocios

En los negocios, las "estadísticas" son una herramienta de apoyo a la gestión y la toma de decisiones ampliamente utilizada. Se aplica particularmente en la gestión financiera, la gestión de marketing y la gestión de producción, servicios y operaciones. Las estadísticas también se utilizan mucho en la contabilidad y la auditoría de gestión. La disciplina de Management Science formaliza el uso de la estadística y otras matemáticas en los negocios. (La econometría es la aplicación de métodos estadísticos a los datos económicos para dar contenido empírico a las relaciones económicas).

Un curso típico de "Estadística empresarial" está destinado a estudiantes de negocios y cubre estadísticas descriptivas (recopilación, descripción, análisis y resumen de datos), probabilidad (típicamente las distribuciones binomial y normal), prueba de hipótesis e intervalos de confianza, regresión lineal, y correlación; Los cursos (de seguimiento) pueden incluir pronósticos, series de tiempo, árboles de decisión, regresión lineal múltiple y otros temas de análisis de negocios en general. Véase también Matemáticas empresariales § Nivel universitario. Los programas de certificación profesional, como el CFA, a menudo incluyen temas de estadística.

Estadística aplicada a las matemáticas o las artes

Tradicionalmente, la estadística se ocupaba de sacar inferencias usando una metodología semi-estandarizada que era un "aprendizaje requerido" en la mayoría de las ciencias. Esta tradición ha cambiado con el uso de estadísticas en contextos no inferenciales. Lo que alguna vez se consideró un tema seco, tomado en muchos campos como un requisito para obtener un título, ahora se ve con entusiasmo. Inicialmente ridiculizado por algunos puristas matemáticos, ahora se considera una metodología esencial en ciertas áreas.

• En la teoría de números, los diagramas de dispersión de datos generados por una función de distribución pueden transformarse con herramientas familiares utilizadas en estadística para revelar patrones subyacentes, que luego pueden conducir a hipótesis.
• Los métodos predictivos de estadísticas en el pronóstico que combinan la teoría del caos y la geometría fractal se pueden utilizar para crear obras de video.
• El arte de proceso de Jackson Pollock se basó en experimentos artísticos mediante los cuales se revelaron artísticamente las distribuciones subyacentes en la naturaleza. Con la llegada de las computadoras, se aplicaron métodos estadísticos para formalizar tales procesos naturales impulsados ​​por la distribución para hacer y analizar videoarte en movimiento.
• Los métodos estadísticos se pueden usar de manera predicativa en el arte escénico, como en un truco de cartas basado en un proceso de Markov que solo funciona algunas veces, cuya ocasión se puede predecir usando metodología estadística.
• Las estadísticas se pueden usar para crear arte de manera predicativa, como en la música estadística o estocástica inventada por Iannis Xenakis, donde la música es específica para la interpretación. Aunque este tipo de arte no siempre sale como se esperaba, se comporta de manera predecible y ajustable mediante estadísticas.

Disciplinas especializadas

Las técnicas estadísticas se utilizan en una amplia gama de tipos de investigación científica y social, que incluyen: bioestadística, biología computacional, sociología computacional, biología de redes, ciencias sociales, sociología e investigación social. Algunos campos de investigación utilizan la estadística aplicada tan ampliamente que tienen una terminología especializada. Estas disciplinas incluyen:

• Ciencias actuariales (evalúa el riesgo en las industrias de seguros y finanzas)
• Economía de la información aplicada
• Astroestadística (evaluación estadística de datos astronómicos)
• Bioestadística
• Quimiometría (para análisis de datos de química)
• Minería de datos (aplicación de estadísticas y reconocimiento de patrones para descubrir conocimiento a partir de datos)
• Ciencia de los datos
• Demografía (estudio estadístico de las poblaciones)
• Econometría (análisis estadístico de datos económicos)
• Estadísticas de energía
• Estadísticas de ingeniería
• Epidemiología (análisis estadístico de la enfermedad)
• Geografía y sistemas de información geográfica, específicamente en análisis espacial
• Procesamiento de imágenes
• Jurimetría (ley)
• Estadísticas médicas
• Ciencias Políticas
• estadísticas psicológicas
• Ingeniería de confiabilidad
• Estadísticas sociales
• Mecánica estadística

Además, existen tipos particulares de análisis estadístico que también han desarrollado su propia terminología y metodología especializada:

• Remuestreo Bootstrap/jackknife
• Estadísticas multivariadas
• Clasificación estadística
• Análisis de datos estructurados
• Modelado de ecuaciones estructurales
• Metodología de la encuesta
• Análisis de supervivencia
• Estadísticas en varios deportes, particularmente béisbol, conocido como sabermetría, y cricket.

Las estadísticas también forman una herramienta básica clave en los negocios y la fabricación. Se utiliza para comprender la variabilidad de los sistemas de medición, los procesos de control (como en el control estadístico de procesos o SPC), para resumir datos y para tomar decisiones basadas en datos. En estos roles, es una herramienta clave y quizás la única herramienta confiable.