Estadísticas

La distribución normal, una densidad de probabilidad muy común, se utiliza extensamente en estadísticas inferenciales.

Los diagramas de estampación y los gráficos de línea se utilizan en estadísticas descriptivas para mostrar las relaciones observadas entre diferentes variables, utilizando el conjunto de datos de flores Iris.

Estadísticas (del alemán: Statistik, orig. "descripción de un estado, un país&# 34;) es la disciplina que se ocupa de la recopilación, organización, análisis, interpretación y presentación de datos. Al aplicar la estadística a un problema científico, industrial o social, es convencional comenzar con una población estadística o un modelo estadístico a estudiar. Las poblaciones pueden ser diversos grupos de personas u objetos, como "todas las personas que viven en un país" o "cada átomo que compone un cristal". Las estadísticas se ocupan de todos los aspectos de los datos, incluida la planificación de la recopilación de datos en términos del diseño de encuestas y experimentos.

Cuando no se pueden recopilar datos del censo, los estadísticos recopilan datos mediante el desarrollo de diseños de experimentos específicos y muestras de encuestas. El muestreo representativo asegura que las inferencias y conclusiones puedan extenderse razonablemente de la muestra a la población como un todo. Un estudio experimental implica tomar medidas del sistema bajo estudio, manipular el sistema y luego tomar medidas adicionales usando el mismo procedimiento para determinar si la manipulación ha modificado los valores de las medidas. Por el contrario, un estudio observacional no implica manipulación experimental.

Se utilizan dos métodos estadísticos principales en el análisis de datos: estadísticas descriptivas, que resumen los datos de una muestra mediante índices como la media o la desviación estándar, y estadísticas inferenciales, que extraen conclusiones de los datos que están sujetos a variaciones aleatorias (p. ej., errores de observación, variación de muestreo). Las estadísticas descriptivas se ocupan con mayor frecuencia de dos conjuntos de propiedades de una distribución (muestra o población): tendencia central (o ubicación) busca caracterizar el valor central o típico de la distribución, mientras que la dispersión (o variabilidad) caracteriza la medida en que los miembros de la distribución se apartan de su centro y entre sí. Las inferencias sobre estadística matemática se realizan bajo el marco de la teoría de la probabilidad, que se ocupa del análisis de fenómenos aleatorios.

Un procedimiento estadístico estándar implica la recopilación de datos que conducen a una prueba de la relación entre dos conjuntos de datos estadísticos, o un conjunto de datos y datos sintéticos extraídos de un modelo idealizado. Se propone una hipótesis para la relación estadística entre los dos conjuntos de datos, y se compara como una alternativa a una hipótesis nula idealizada de ausencia de relación entre dos conjuntos de datos. El rechazo o refutación de la hipótesis nula se realiza mediante pruebas estadísticas que cuantifican el sentido en que se puede demostrar que la nula es falsa, dados los datos que se utilizan en la prueba. A partir de una hipótesis nula, se reconocen dos formas básicas de error: errores de tipo I (la hipótesis nula se rechaza falsamente dando un 'falso positivo') y errores de tipo II (la hipótesis nula no se rechaza y una relación real entre poblaciones se pierde dando un "falso negativo"). Se han asociado múltiples problemas con este marco, que van desde obtener un tamaño de muestra suficiente hasta especificar una hipótesis nula adecuada.

Los procesos de medición que generan datos estadísticos también están sujetos a errores. Muchos de estos errores se clasifican como aleatorios (ruido) o sistemáticos (sesgo), pero también pueden ocurrir otros tipos de errores (por ejemplo, errores garrafales, como cuando un analista informa unidades incorrectas). La presencia de datos faltantes o la censura pueden dar lugar a estimaciones sesgadas y se han desarrollado técnicas específicas para abordar estos problemas.

Introducción

La estadística es un cuerpo matemático de la ciencia que pertenece a la recopilación, análisis, interpretación o explicación y presentación de datos, o como una rama de las matemáticas. Algunos consideran que la estadística es una ciencia matemática distinta en lugar de una rama de las matemáticas. Si bien muchas investigaciones científicas hacen uso de datos, la estadística se ocupa del uso de datos en el contexto de la incertidumbre y la toma de decisiones frente a la incertidumbre.

Al aplicar la estadística a un problema, es una práctica común comenzar con una población o proceso a estudiar. Las poblaciones pueden ser temas diversos como "todas las personas que viven en un país" o "cada átomo que compone un cristal". Idealmente, los estadísticos compilan datos sobre toda la población (una operación llamada censo). Esto puede ser organizado por institutos de estadística gubernamentales. Se pueden utilizar estadísticas descriptivas para resumir los datos de población. Los descriptores numéricos incluyen la media y la desviación estándar para datos continuos (como ingresos), mientras que la frecuencia y el porcentaje son más útiles para describir datos categóricos (como educación).

Cuando un censo no es factible, se estudia un subconjunto elegido de la población llamado muestra. Una vez que se determina una muestra representativa de la población, se recopilan datos para los miembros de la muestra en un entorno de observación o experimental. Nuevamente, las estadísticas descriptivas se pueden usar para resumir los datos de la muestra. Sin embargo, extraer la muestra contiene un elemento de aleatoriedad; por lo tanto, los descriptores numéricos de la muestra también son propensos a la incertidumbre. Para sacar conclusiones significativas sobre toda la población, se necesitan estadísticas inferenciales. Utiliza patrones en los datos de la muestra para sacar inferencias sobre la población representada mientras se tiene en cuenta la aleatoriedad. Estas inferencias pueden tomar la forma de responder preguntas de sí/no sobre los datos (prueba de hipótesis), estimar características numéricas de los datos (estimación), describir asociaciones dentro de los datos (correlación) y modelar relaciones dentro de los datos (por ejemplo, usando análisis de regresión). La inferencia puede extenderse al pronóstico, la predicción y la estimación de valores no observados en la población que se está estudiando o asociados con ella. Puede incluir extrapolación e interpolación de series de tiempo o datos espaciales y minería de datos.

Estadística matemática

La estadística matemática es la aplicación de las matemáticas a la estadística. Las técnicas matemáticas utilizadas para esto incluyen el análisis matemático, el álgebra lineal, el análisis estocástico, las ecuaciones diferenciales y la teoría de la probabilidad de medida teórica.

Historia

Bernoulli's Ars Conjectandi fue el primer trabajo que trató de la teoría de la probabilidad como se entiende actualmente.

Los debates formales sobre la inferencia se remontan a los matemáticos y criptógrafos árabes, durante la Edad de Oro islámica entre los siglos VIII y XIII. Al-Khalil (717–786) escribió el Libro de mensajes criptográficos, que contiene uno de los primeros usos de permutaciones y combinaciones, para enumerar todas las palabras árabes posibles con y sin vocales. El Manuscrito sobre el descifrado de mensajes criptográficos de Al-Kindi proporcionó una descripción detallada de cómo utilizar el análisis de frecuencia para descifrar mensajes cifrados, proporcionando un ejemplo temprano de inferencia estadística para la decodificación. Ibn Adlan (1187-1268) realizó posteriormente una importante contribución sobre el uso del tamaño de la muestra en el análisis de frecuencia.

El escrito más antiguo que contiene estadísticas en Europa se remonta a 1663, con la publicación de Observaciones naturales y políticas sobre las leyes de mortalidad de John Graunt. Las primeras aplicaciones del pensamiento estadístico giraban en torno a las necesidades de los estados de basar sus políticas en datos demográficos y económicos, de ahí su etimología estatal. El alcance de la disciplina de la estadística se amplió a principios del siglo XIX para incluir la recopilación y el análisis de datos en general. Hoy en día, la estadística se emplea ampliamente en el gobierno, los negocios y las ciencias naturales y sociales.

Los fundamentos matemáticos de la estadística se desarrollaron a partir de debates sobre juegos de azar entre matemáticos como Gerolamo Cardano, Blaise Pascal, Pierre de Fermat y Christiaan Huygens. Aunque la idea de probabilidad ya se examinaba en el derecho y la filosofía antiguos y medievales (como en la obra de Juan Caramuel), la teoría de la probabilidad como disciplina matemática sólo tomó forma a finales del siglo XVII, particularmente en Jacob Bernoulli' s obra póstuma Ars Conjectandi. Este fue el primer libro donde el reino de los juegos de azar y el reino de lo probable (que se refería a la opinión, la evidencia y el argumento) se combinaron y se sometieron a análisis matemático. El método de los mínimos cuadrados fue descrito por primera vez por Adrien-Marie Legendre en 1805, aunque probablemente Carl Friedrich Gauss lo utilizó una década antes, en 1795.

Karl Pearson, fundador de estadísticas matemáticas.

El campo moderno de la estadística surgió a finales del siglo XIX y principios del XX en tres etapas. La primera ola, a principios de siglo, estuvo liderada por el trabajo de Francis Galton y Karl Pearson, quienes transformaron la estadística en una rigurosa disciplina matemática utilizada para el análisis, no solo en la ciencia, sino también en la industria y la política. Las contribuciones de Galton incluyeron la introducción de los conceptos de desviación estándar, correlación, análisis de regresión y la aplicación de estos métodos al estudio de la variedad de características humanas: altura, peso, longitud de las pestañas, entre otras. Pearson desarrolló el coeficiente de correlación producto-momento de Pearson, definido como producto-momento, el método de momentos para el ajuste de distribuciones a muestras y la distribución de Pearson, entre muchas otras cosas. Galton y Pearson fundaron Biometrika como la primera revista de estadística matemática y bioestadística (entonces llamada biometría), y el último fundó el primer departamento universitario de estadística del mundo en el University College London.

La segunda ola de las décadas de 1910 y 1920 fue iniciada por William Sealy Gosset y llegó a su culminación con las ideas de Ronald Fisher, quien escribió los libros de texto que definirían la disciplina académica en las universidades de todo el mundo. Las publicaciones más importantes de Fisher fueron su artículo seminal de 1918 The Correlation between Relatives on the Supposition of Mendelian Inheritance (que fue el primero en utilizar el término estadístico, varianza), su trabajo clásico de 1925 Métodos estadísticos para trabajadores de investigación y su El diseño de experimentos de 1935, donde desarrolló modelos rigurosos de diseño de experimentos. Él originó los conceptos de suficiencia, estadísticas auxiliares, discriminador lineal de Fisher e información de Fisher. También acuñó el término hipótesis nula durante el experimento Lady degustando té, que "nunca se prueba ni se establece, pero posiblemente se refute, en el curso de la experimentación". En su libro de 1930 The Genetical Theory of Natural Selection, aplicó la estadística a varios conceptos biológicos como el principio de Fisher (que A. W. F. Edwards llamó "probablemente el argumento más célebre de la biología evolutiva& #34;) y Fisherian runaway, un concepto de selección sexual sobre un efecto de retroalimentación positiva descontrolado que se encuentra en la evolución.

La ola final, que vio principalmente el refinamiento y la expansión de desarrollos anteriores, surgió del trabajo colaborativo entre Egon Pearson y Jerzy Neyman en la década de 1930. Introdujeron los conceptos de "Tipo II" error, potencia de una prueba e intervalos de confianza. Jerzy Neyman en 1934 demostró que el muestreo aleatorio estratificado era en general un mejor método de estimación que el muestreo intencional (por cuotas).

Hoy en día, los métodos estadísticos se aplican en todos los campos que involucran la toma de decisiones, para hacer inferencias precisas a partir de un conjunto de datos cotejados y para tomar decisiones ante la incertidumbre con base en la metodología estadística. El uso de computadoras modernas ha acelerado los cálculos estadísticos a gran escala y también ha hecho posibles nuevos métodos que no son prácticos de realizar manualmente. La estadística sigue siendo un área de investigación activa, por ejemplo, sobre el problema de cómo analizar los grandes datos.

Datos estadísticos

Recopilación de datos

Muestreo

Cuando no se pueden recopilar datos censales completos, los estadísticos recopilan datos de muestra mediante el desarrollo de diseños de experimentos específicos y muestras de encuestas. La propia estadística también proporciona herramientas para la predicción y el pronóstico a través de modelos estadísticos.

Para usar una muestra como guía para una población completa, es importante que realmente represente a la población general. El muestreo representativo asegura que las inferencias y conclusiones puedan extenderse con seguridad desde la muestra a la población como un todo. Un problema importante radica en determinar hasta qué punto la muestra elegida es realmente representativa. Las estadísticas ofrecen métodos para estimar y corregir cualquier sesgo dentro de la muestra y los procedimientos de recopilación de datos. También existen métodos de diseño experimental para experimentos que pueden disminuir estos problemas al comienzo de un estudio, fortaleciendo su capacidad para discernir verdades sobre la población.

La teoría del muestreo es parte de la disciplina matemática de la teoría de la probabilidad. La probabilidad se utiliza en estadística matemática para estudiar las distribuciones muestrales de las estadísticas muestrales y, de manera más general, las propiedades de los procedimientos estadísticos. El uso de cualquier método estadístico es válido cuando el sistema o población bajo consideración satisface los supuestos del método. La diferencia de punto de vista entre la teoría clásica de la probabilidad y la teoría del muestreo es, aproximadamente, que la teoría de la probabilidad parte de los parámetros dados de una población total para deducir las probabilidades que pertenecen a las muestras. La inferencia estadística, sin embargo, se mueve en la dirección opuesta, infiriendo inductivamente de muestras a los parámetros de una población más grande o total.

Estudios experimentales y observacionales

Un objetivo común para un proyecto de investigación estadística es investigar la causalidad y, en particular, sacar una conclusión sobre el efecto de los cambios en los valores de los predictores o variables independientes en las variables dependientes. Hay dos tipos principales de estudios estadísticos causales: estudios experimentales y estudios observacionales. En ambos tipos de estudios se observa el efecto de las diferencias de una variable (o variables) independiente sobre el comportamiento de la variable dependiente. La diferencia entre los dos tipos radica en cómo se realiza realmente el estudio. Cada uno puede ser muy eficaz. Un estudio experimental implica tomar medidas del sistema bajo estudio, manipular el sistema y luego tomar medidas adicionales usando el mismo procedimiento para determinar si la manipulación ha modificado los valores de las medidas. Por el contrario, un estudio observacional no implica manipulación experimental. En su lugar, se recopilan datos y se investigan las correlaciones entre los predictores y la respuesta. Si bien las herramientas de análisis de datos funcionan mejor con datos de estudios aleatorios, también se aplican a otros tipos de datos, como experimentos naturales y estudios observacionales, para los cuales un estadístico usaría un método de estimación modificado y más estructurado (por ejemplo, Diferencia en diferencias estimación y variables instrumentales, entre muchas otras) que producen estimadores consistentes.

Experimentos

Los pasos básicos de un experimento estadístico son:

1. Planificación de la investigación, incluyendo encontrar el número de réplicas del estudio, utilizando la siguiente información: estimaciones preliminares sobre el tamaño de los efectos del tratamiento, hipótesis alternativas, y la variabilidad experimental estimada. Es necesario examinar la selección de temas experimentales y la ética de la investigación. Los estadísticos recomiendan que los experimentos comparen (al menos) un nuevo tratamiento con un tratamiento o control estándar, para permitir una estimación imparcial de la diferencia en los efectos del tratamiento.
2. Diseño de experimentos, mediante bloqueos para reducir la influencia de variables confundidas y asignación aleatoria de tratamientos a sujetos para permitir estimaciones imparciales de efectos de tratamiento y error experimental. En esta etapa, los experimentadores y estadísticos escriben protocolo experimental que guiará el rendimiento del experimento y que especifica análisis primario de los datos experimentales.
3. Realizando el experimento siguiendo el protocolo experimental y analizando los datos siguiendo el protocolo experimental.
4. Seguir examinando los datos establecidos en análisis secundarios, para sugerir nuevas hipótesis para futuros estudios.
5. Documentando y presentando los resultados del estudio.

Los experimentos sobre el comportamiento humano tienen preocupaciones especiales. El famoso estudio de Hawthorne examinó los cambios en el entorno laboral en la planta Hawthorne de Western Electric Company. Los investigadores estaban interesados en determinar si una mayor iluminación aumentaría la productividad de los trabajadores de la línea de montaje. Los investigadores primero midieron la productividad en la planta, luego modificaron la iluminación en un área de la planta y verificaron si los cambios en la iluminación afectaban la productividad. Resultó que la productividad de hecho mejoró (bajo las condiciones experimentales). Sin embargo, el estudio es fuertemente criticado hoy por errores en los procedimientos experimentales, específicamente por la falta de un grupo de control y ceguera. El efecto Hawthorne se refiere a encontrar que un resultado (en este caso, la productividad del trabajador) cambió debido a la observación misma. Los del estudio de Hawthorne se volvieron más productivos no porque se cambiara la iluminación, sino porque estaban siendo observados.

Estudio observacional

Un ejemplo de un estudio observacional es uno que explora la asociación entre fumar y el cáncer de pulmón. Este tipo de estudio suele utilizar una encuesta para recopilar observaciones sobre el área de interés y luego realiza un análisis estadístico. En este caso, los investigadores recolectarían observaciones de fumadores y no fumadores, quizás a través de un estudio de cohortes, y luego buscarían la cantidad de casos de cáncer de pulmón en cada grupo. Un estudio de casos y controles es otro tipo de estudio observacional en el que se invita a participar a personas con y sin el resultado de interés (p. ej., cáncer de pulmón) y se recopilan sus antecedentes de exposición.

Tipos de datos

Se han hecho varios intentos para producir una taxonomía de niveles de medición. El psicofísico Stanley Smith Stevens definió escalas nominales, ordinales, de intervalo y de razón. Las medidas nominales no tienen un orden de rango significativo entre los valores y permiten cualquier transformación uno a uno (inyectiva). Las medidas ordinales tienen diferencias imprecisas entre valores consecutivos, pero tienen un orden significativo para esos valores y permiten cualquier transformación que preserve el orden. Las mediciones de intervalo tienen distancias significativas entre las mediciones definidas, pero el valor cero es arbitrario (como en el caso de las mediciones de temperatura y longitud en Celsius o Fahrenheit) y permiten cualquier transformación lineal. Las medidas de relación tienen tanto un valor cero significativo como las distancias entre diferentes medidas definidas, y permiten cualquier transformación de cambio de escala.

Debido a que las variables que se ajustan solo a medidas nominales u ordinales no pueden medirse numéricamente de manera razonable, a veces se agrupan como variables categóricas, mientras que las medidas de razón e intervalo se agrupan como variables cuantitativas, que pueden ser discretas o continuas, debido a su naturaleza numérica. Tales distinciones a menudo se pueden correlacionar vagamente con el tipo de datos en informática, en el sentido de que las variables categóricas dicotómicas se pueden representar con el tipo de datos booleano, las variables categóricas politómicas con números enteros asignados arbitrariamente en el tipo de datos integral y las variables continuas con el tipo de datos real que involucra aritmética de punto flotante. Pero la asignación de tipos de datos informáticos a tipos de datos estadísticos depende de qué categorización de estos últimos se implemente.

Se han propuesto otras categorizaciones. Por ejemplo, Mosteller y Tukey (1977) distinguieron grados, rangos, fracciones contadas, cuentas, cantidades y saldos. Nelder (1990) describió conteos continuos, razones continuas, razones de conteo y modos categóricos de datos. (Véase también: Chrisman (1998), van den Berg (1991).)

La cuestión de si es apropiado o no aplicar diferentes tipos de métodos estadísticos a los datos obtenidos de diferentes tipos de procedimientos de medición se complica por cuestiones relacionadas con la transformación de variables y la interpretación precisa de las preguntas de investigación. "La relación entre los datos y lo que describen simplemente refleja el hecho de que ciertos tipos de declaraciones estadísticas pueden tener valores de verdad que no son invariantes bajo algunas transformaciones. Si una transformación es o no sensata de contemplar depende de la pregunta que uno está tratando de responder."

Métodos

Estadísticas descriptivas

Una estadística descriptiva (en el sentido de sustantivo contable) es una estadística resumida que describe o resume cuantitativamente las características de una colección de información, mientras que las estadísticas descriptivas en el sustantivo masivo El sentido es el proceso de usar y analizar esas estadísticas. La estadística descriptiva se distingue de la estadística inferencial (o estadística inductiva), en que la estadística descriptiva tiene como objetivo resumir una muestra, en lugar de utilizar los datos para aprender sobre la población que se cree que representa la muestra de datos.

Estadísticas inferenciales

La inferencia estadística es el proceso de utilizar el análisis de datos para deducir las propiedades de una distribución de probabilidad subyacente. El análisis estadístico inferencial infiere propiedades de una población, por ejemplo, al probar hipótesis y derivar estimaciones. Se supone que el conjunto de datos observados se muestrea de una población más grande. Las estadísticas inferenciales se pueden contrastar con las estadísticas descriptivas. La estadística descriptiva se ocupa únicamente de las propiedades de los datos observados y no se basa en la suposición de que los datos provienen de una población más grande.

Terminología y teoría de la estadística inferencial

Estadísticas, estimadores y cantidades pivotales

Considere variables aleatorias independientes distribuidas idénticamente (IID) con una distribución de probabilidad determinada: la teoría de estimación e inferencia estadística estándar define una muestra aleatoria como el vector aleatorio dado por el vector de columna de estas variables IID. La población que se examina se describe mediante una distribución de probabilidad que puede tener parámetros desconocidos.

Una estadística es una variable aleatoria que es una función de la muestra aleatoria, pero no una función de parámetros desconocidos. Sin embargo, la distribución de probabilidad de la estadística puede tener parámetros desconocidos. Considere ahora una función del parámetro desconocido: un estimador es una estadística utilizada para estimar dicha función. Los estimadores de uso común incluyen la media muestral, la varianza muestral imparcial y la covarianza muestral.

Una variable aleatoria que es función de la muestra aleatoria y del parámetro desconocido, pero cuya distribución de probabilidad no depende del parámetro desconocido se denomina cantidad pivotal o pivote. Los pivotes ampliamente utilizados incluyen el puntaje z, la estadística chi cuadrada y el valor t de Student.

Entre dos estimadores de un parámetro determinado, se dice que el que tiene el error cuadrático medio más bajo es más eficiente. Además, se dice que un estimador es insesgado si su valor esperado es igual al valor real del parámetro desconocido que se estima, y asintóticamente insesgado si su valor esperado converge en el límite con el valor real de dicho parámetro.

Otras propiedades deseables para los estimadores incluyen: Estimadores UMVUE que tienen la varianza más baja para todos los valores posibles del parámetro a estimar (esta suele ser una propiedad más fácil de verificar que la eficiencia) y estimadores consistentes que convergen en probabilidad al valor verdadero de tal parámetro.

Esto aún deja la cuestión de cómo obtener estimadores en una situación dada y realizar el cálculo. Se han propuesto varios métodos: el método de los momentos, el método de máxima verosimilitud, el método de mínimos cuadrados y el método más reciente de estimación de ecuaciones..

Hipótesis nula e hipótesis alternativa

La interpretación de la información estadística a menudo puede implicar el desarrollo de una hipótesis nula que generalmente (pero no necesariamente) es que no existe una relación entre las variables o que no se produjo ningún cambio a lo largo del tiempo.

La mejor ilustración para un novato es el dilema al que se enfrenta un juicio penal. La hipótesis nula, H₀, afirma que el acusado es inocente, mientras que la hipótesis alternativa, H₁, afirma que el acusado es culpable. La acusación se produce por sospecha de culpabilidad. El H₀ (status quo) se opone a H₁ y se mantiene a menos que H₁ esté respaldado por evidencia "más allá de un duda razonable". Sin embargo, "no rechazar H₀" en este caso no implica inocencia, sino simplemente que las pruebas fueron insuficientes para condenar. Entonces, el jurado no necesariamente acepta H₀ pero no rechaza H₀. Mientras que uno no puede "probar" una hipótesis nula, uno puede probar qué tan cerca está de ser cierta con una prueba de potencia, que prueba los errores de tipo II.

Lo que los estadísticos llaman hipótesis alternativa es simplemente una hipótesis que contradice la hipótesis nula.

Error

Trabajando a partir de una hipótesis nula, se reconocen dos amplias categorías de error:

• Errores tipo I donde la hipótesis nula es falsamente rechazada, dando un "falso positivo".
• Errores tipo II donde la hipótesis nula no puede ser rechazada y se pierde una diferencia real entre las poblaciones, dando un "falso negativo".

La desviación estándar se refiere a la medida en que las observaciones individuales en una muestra difieren de un valor central, como la muestra o la media de la población, mientras que el error estándar se refiere a una estimación de la diferencia entre la media de la muestra y la media de la población.

Un error estadístico es la cantidad por la cual una observación difiere de su valor esperado. Un residuo es la cantidad que una observación difiere del valor que asume el estimador del valor esperado en una muestra dada (también llamada predicción).

El error cuadrático medio se usa para obtener estimadores eficientes, una clase de estimadores muy utilizada. La raíz del error cuadrático medio es simplemente la raíz cuadrada del error cuadrático medio.

Un mínimo cuadrado cabe: en rojo los puntos a instalar, en azul la línea ajustada.

Muchos métodos estadísticos buscan minimizar la suma residual de cuadrados, y estos se denominan "métodos de mínimos cuadrados" en contraste con las desviaciones mínimas absolutas. Este último da igual peso a los errores pequeños y grandes, mientras que el primero da más peso a los errores grandes. La suma residual de cuadrados también es diferenciable, lo que proporciona una propiedad útil para hacer regresiones. Los mínimos cuadrados aplicados a la regresión lineal se denominan método de mínimos cuadrados ordinarios y los mínimos cuadrados aplicados a la regresión no lineal se denominan mínimos cuadrados no lineales. También en un modelo de regresión lineal, la parte no determinista del modelo se denomina término de error, perturbación o, más simplemente, ruido. Tanto la regresión lineal como la no lineal se abordan en mínimos cuadrados polinómicos, que también describen la varianza en una predicción de la variable dependiente (eje y) en función de la variable independiente (eje x) y las desviaciones (errores, ruido, perturbaciones) de la curva estimada (ajustada).

Los procesos de medición que generan datos estadísticos también están sujetos a errores. Muchos de estos errores se clasifican como aleatorios (ruido) o sistemáticos (sesgo), pero otros tipos de errores (por ejemplo, errores garrafales, como cuando un analista informa unidades incorrectas) también pueden ser importantes. La presencia de datos faltantes o la censura pueden dar lugar a estimaciones sesgadas y se han desarrollado técnicas específicas para abordar estos problemas.

Estimación de intervalos

Intervalos de confianza: la línea roja es verdadero valor para el medio en este ejemplo, las líneas azules son intervalos de confianza aleatorios para 100 realizaciones.

La mayoría de los estudios solo toman muestras de una parte de una población, por lo que los resultados no representan completamente a toda la población. Cualquier estimación obtenida de la muestra solo se aproxima al valor de la población. Los intervalos de confianza permiten a los estadísticos expresar en qué medida la estimación de la muestra coincide con el valor real en toda la población. A menudo se expresan como intervalos de confianza del 95%. Formalmente, un intervalo de confianza del 95 % para un valor es un rango en el que, si el muestreo y el análisis se repitieran en las mismas condiciones (lo que genera un conjunto de datos diferente), el intervalo incluiría el valor real (población) en el 95 % de todos los casos posibles.. Esto no implica que la probabilidad de que el valor verdadero esté en el intervalo de confianza sea del 95 %. Desde la perspectiva frecuentista, tal afirmación ni siquiera tiene sentido, ya que el verdadero valor no es una variable aleatoria. El valor verdadero está o no dentro del intervalo dado. Sin embargo, es cierto que, antes de muestrear cualquier dato y darle un plan sobre cómo construir el intervalo de confianza, la probabilidad es del 95% de que el intervalo aún por calcular cubra el valor verdadero: en este punto, el los límites del intervalo son variables aleatorias aún por observar. Un enfoque que produce un intervalo que puede interpretarse como que tiene una probabilidad dada de contener el valor verdadero es usar un intervalo creíble de las estadísticas bayesianas: este enfoque depende de una forma diferente de interpretar lo que significa "probabilidad". 34;, eso es como una probabilidad bayesiana.

En principio, los intervalos de confianza pueden ser simétricos o asimétricos. Un intervalo puede ser asimétrico porque funciona como límite inferior o superior para un parámetro (intervalo del lado izquierdo o intervalo del lado derecho), pero también puede ser asimétrico porque el intervalo de dos lados se construye violando la simetría alrededor de la estimación. A veces, los límites de un intervalo de confianza se alcanzan de forma asintótica y se utilizan para aproximar los límites reales.

Importancia

Las estadísticas rara vez dan una respuesta simple del tipo Sí/No a la pregunta que se analiza. La interpretación a menudo se reduce al nivel de significación estadística aplicado a los números y, a menudo, se refiere a la probabilidad de que un valor rechace con precisión la hipótesis nula (a veces denominado valor p).

En este gráfico la línea negra es la distribución de probabilidad para la estadística de prueba, la región crítica es el conjunto de valores a la derecha del punto de datos observado (valor observado de la estadística de prueba) y el valor p está representado por el área verde.

El enfoque estándar consiste en probar una hipótesis nula frente a una hipótesis alternativa. Una región crítica es el conjunto de valores del estimador que lleva a refutar la hipótesis nula. La probabilidad de error tipo I es, por tanto, la probabilidad de que el estimador pertenezca a la región crítica dado que la hipótesis nula es verdadera (significación estadística) y la probabilidad de error tipo II es la probabilidad de que el estimador no pertenezca a la región crítica. región dado que la hipótesis alternativa es verdadera. El poder estadístico de una prueba es la probabilidad de que rechace correctamente la hipótesis nula cuando la hipótesis nula es falsa.

Referirse a la significancia estadística no significa necesariamente que el resultado general sea significativo en términos del mundo real. Por ejemplo, en un estudio grande de un fármaco se puede demostrar que el fármaco tiene un efecto beneficioso estadísticamente significativo pero muy pequeño, de modo que es poco probable que el fármaco ayude al paciente de forma notable.

Aunque, en principio, el nivel aceptable de significancia estadística puede estar sujeto a debate, el nivel de significancia es el valor p más grande que permite que la prueba rechace la hipótesis nula. Esta prueba es lógicamente equivalente a decir que el valor p es la probabilidad, suponiendo que la hipótesis nula sea verdadera, de observar un resultado al menos tan extremo como el estadístico de prueba. Por lo tanto, cuanto menor sea el nivel de significación, menor será la probabilidad de cometer un error tipo I.

Algunos problemas suelen estar asociados con este marco (Ver crítica de la prueba de hipótesis):

• Una diferencia que es altamente estadísticamente significativa todavía no puede ser de ningún significado práctico, pero es posible formular adecuadamente pruebas para tener en cuenta esto. Una respuesta implica ir más allá de informar sólo el nivel de significación para incluir el valor p al informar si una hipótesis es rechazada o aceptada. El valor p, sin embargo, no indica el tamaño o la importancia del efecto observado y también parece exagerar la importancia de las diferencias menores en los estudios grandes. Un enfoque mejor y cada vez más común es informar de intervalos de confianza. Aunque se producen a partir de los mismos cálculos que los de las pruebas de hipótesis o p-valores, describen tanto el tamaño del efecto como la incertidumbre que lo rodea.
• Fallacy of the transposed conditional, aka prosecutor's falcy: criticisms arise because the hipothesis testing approach forces one hipothesis (the null hipothesis) to be favored, since what is being evaluate is the probability of the observed result given the null hipothesis and not probability of the null hipothesis given the observed result. Una alternativa a este enfoque es ofrecida por la inferencia bayesiana, aunque requiere establecer una probabilidad previa.
• Rechazar la hipótesis nula no prueba automáticamente la hipótesis alternativa.
• Como todo en las estadísticas inferenciales se basa en el tamaño de la muestra, y por lo tanto bajo las colas de grasa p-valores puede ser seriamente mal computado.

Ejemplos

Algunas pruebas y procedimientos estadísticos conocidos son:

Análisis exploratorio de datos

Análisis exploratorio de datos (EDA) es un enfoque para analizar conjuntos de datos para resumir sus características principales, a menudo con métodos visuales. Se puede usar o no un modelo estadístico, pero principalmente EDA es para ver lo que los datos pueden decirnos más allá del modelado formal o la tarea de prueba de hipótesis.

Mal uso

El mal uso de las estadísticas puede producir errores sutiles pero graves en la descripción y la interpretación; sutiles en el sentido de que incluso los profesionales experimentados cometen tales errores, y graves en el sentido de que pueden conducir a errores de decisión devastadores. Por ejemplo, la política social, la práctica médica y la confiabilidad de estructuras como los puentes se basan en el uso adecuado de las estadísticas.

Incluso cuando las técnicas estadísticas se aplican correctamente, los resultados pueden ser difíciles de interpretar para aquellos que carecen de experiencia. La importancia estadística de una tendencia en los datos, que mide hasta qué punto una tendencia podría ser causada por una variación aleatoria en la muestra, puede o no estar de acuerdo con un sentido intuitivo de su importancia. El conjunto de habilidades estadísticas básicas (y escepticismo) que las personas necesitan para manejar adecuadamente la información en su vida cotidiana se conoce como alfabetización estadística.

Existe una percepción general de que, con demasiada frecuencia, se hace un mal uso intencional del conocimiento estadístico al encontrar formas de interpretar solo los datos que son favorables para el presentador. La desconfianza y la incomprensión de las estadísticas están asociadas con la cita: "Hay tres tipos de mentiras: mentiras, malditas mentiras y estadísticas". El mal uso de las estadísticas puede ser tanto involuntario como intencional, y el libro How to Lie with Statistics, de Darrell Huff, describe una variedad de consideraciones. En un intento por arrojar luz sobre el uso y el mal uso de las estadísticas, se realizan revisiones de las técnicas estadísticas utilizadas en campos particulares (p. ej., Warne, Lazo, Ramos y Ritter (2012)).

Las formas de evitar el mal uso de las estadísticas incluyen el uso de diagramas adecuados y evitar sesgos. El mal uso puede ocurrir cuando las conclusiones se generalizan en exceso y se afirma que son representativas de más de lo que realmente son, a menudo pasando por alto deliberada o inconscientemente el sesgo de muestreo. Se puede decir que los gráficos de barras son los diagramas más fáciles de usar y comprender, y se pueden hacer a mano o con programas de computadora simples. Desafortunadamente, la mayoría de las personas no buscan sesgos o errores, por lo que no se notan. Por lo tanto, las personas a menudo pueden creer que algo es cierto incluso si no está bien representado. Para que los datos recopilados de las estadísticas sean creíbles y precisos, la muestra tomada debe ser representativa del todo. Según Huff, "La confiabilidad de una muestra puede ser destruida por [sesgo]... permítase cierto grado de escepticismo."

Para ayudar en la comprensión de las estadísticas, Huff propuso una serie de preguntas para cada caso:

• ¿Quién lo dice? (¿Tiene un hacha para moler?)
• ¿Cómo lo sabe? (¿Tiene los recursos para conocer los hechos?)
• ¿Qué falta? (¿Nos da una imagen completa?)
• ¿Alguien cambió el tema? (¿Nos ofrece la respuesta correcta al problema equivocado?)
• ¿Tiene sentido? (Es su conclusión lógica y coherente con lo que ya sabemos?)

El problema variable confuso: X y Y puede ser correlacionado, no porque exista relación causal entre ellos, sino porque ambos dependen de una tercera variable Z. Z se llama un factor confuso.

Mala interpretación: correlación

El concepto de correlación es particularmente notable por la posible confusión que puede causar. El análisis estadístico de un conjunto de datos a menudo revela que dos variables (propiedades) de la población bajo consideración tienden a variar juntas, como si estuvieran conectadas. Por ejemplo, un estudio de ingresos anuales que también analice la edad de muerte podría encontrar que las personas pobres tienden a tener una vida más corta que las personas ricas. Se dice que las dos variables están correlacionadas; sin embargo, pueden o no ser la causa de la otra. Los fenómenos de correlación podrían ser causados por un tercer fenómeno, previamente no considerado, llamado variable oculta o variable de confusión. Por esta razón, no hay forma de inferir inmediatamente la existencia de una relación causal entre las dos variables.

Aplicaciones

Estadística aplicada, estadística teórica y estadística matemática

Estadística aplicada, a veces denominada ciencia estadística, comprende estadísticas descriptivas y la aplicación de estadísticas inferenciales. La estadística teórica se refiere a los argumentos lógicos que subyacen a la justificación de los enfoques de la inferencia estadística, así como a la estadística matemática. La estadística matemática incluye no solo la manipulación de las distribuciones de probabilidad necesarias para obtener resultados relacionados con los métodos de estimación e inferencia, sino también varios aspectos de la estadística computacional y el diseño de experimentos.

Los consultores estadísticos pueden ayudar a las organizaciones y empresas que no tienen experiencia interna relevante para sus preguntas particulares.

Aprendizaje automático y minería de datos

Los modelos de aprendizaje automático son modelos estadísticos y probabilísticos que capturan patrones en los datos mediante el uso de algoritmos computacionales.

Estadísticas en la academia

La estadística es aplicable a una amplia variedad de disciplinas académicas, incluidas las ciencias naturales y sociales, el gobierno y los negocios. Las estadísticas comerciales aplican métodos estadísticos en econometría, auditoría y producción y operaciones, incluida la mejora de los servicios y la investigación de mercados. Un estudio de dos revistas de biología tropical encontró que las 12 pruebas estadísticas más frecuentes son: Análisis de Varianza (ANOVA), Prueba Chi-Cuadrado, Prueba T de Student, Regresión Lineal, Coeficiente de Correlación de Pearson, Prueba U de Mann-Whitney, Prueba de Kruskal-Wallis Prueba, índice de diversidad de Shannon, prueba de Tukey, análisis de conglomerados, prueba de correlación de rangos de Spearman y análisis de componentes principales.

Un curso típico de estadística cubre estadísticas descriptivas, probabilidad, distribuciones normales y binomiales, prueba de hipótesis e intervalos de confianza, regresión lineal y correlación. Los cursos modernos de estadística fundamental para estudiantes de pregrado se centran en la selección correcta de pruebas, la interpretación de resultados y el uso de software gratuito de estadísticas.

Informática estadística

gretl, un ejemplo de un paquete estadístico de código abierto

Los aumentos rápidos y sostenidos en el poder de cómputo a partir de la segunda mitad del siglo XX han tenido un impacto sustancial en la práctica de la ciencia estadística. Los primeros modelos estadísticos eran casi siempre de la clase de modelos lineales, pero las computadoras potentes, junto con los algoritmos numéricos adecuados, provocaron un mayor interés en los modelos no lineales (como las redes neuronales), así como la creación de nuevos tipos, como los modelos lineales generalizados. y modelos multinivel.

El aumento de la potencia informática también ha dado lugar a la creciente popularidad de los métodos computacionalmente intensivos basados en el remuestreo, como las pruebas de permutación y el arranque, mientras que técnicas como el muestreo de Gibbs han hecho que el uso de modelos bayesianos sea más factible. La revolución informática tiene implicaciones para el futuro de las estadísticas con un nuevo énfasis en "experimental" y "empírico" Estadísticas. Actualmente se dispone de un gran número de programas estadísticos de propósito general y especial. Los ejemplos de software disponibles capaces de realizar cálculos estadísticos complejos incluyen programas como Mathematica, SAS, SPSS y R.

Estadísticas comerciales

En los negocios, las "estadísticas" es una herramienta de apoyo a la toma de decisiones y de gestión ampliamente utilizada. Se aplica particularmente en la gestión financiera, la gestión de marketing y la gestión de producción, servicios y operaciones. Las estadísticas también se utilizan mucho en la contabilidad y la auditoría de gestión. La disciplina de Management Science formaliza el uso de la estadística y otras matemáticas en los negocios. (La econometría es la aplicación de métodos estadísticos a los datos económicos para dar contenido empírico a las relaciones económicas).

Una típica "Estadística empresarial" el curso está destinado a estudiantes de negocios y cubre estadísticas descriptivas (recolección, descripción, análisis y resumen de datos), probabilidad (típicamente las distribuciones binomial y normal), prueba de hipótesis e intervalos de confianza, regresión lineal y correlación; Los cursos (de seguimiento) pueden incluir pronósticos, series de tiempo, árboles de decisión, regresión lineal múltiple y otros temas de análisis de negocios en general. Véase también Matemáticas empresariales § Nivel universitario. Los programas de certificación profesional, como el CFA, a menudo incluyen temas de estadística.

Estadística aplicada a las matemáticas o las artes

Tradicionalmente, la estadística se ocupaba de sacar inferencias usando una metodología semi-estandarizada que era de "aprendizaje requerido" en la mayoría de las ciencias. Esta tradición ha cambiado con el uso de estadísticas en contextos no inferenciales. Lo que alguna vez se consideró un tema seco, tomado en muchos campos como un requisito para obtener un título, ahora se ve con entusiasmo. Inicialmente ridiculizado por algunos puristas matemáticos, ahora se considera una metodología esencial en ciertas áreas.

• En la teoría de números, tramas dispersas de datos generados por una función de distribución pueden ser transformados con herramientas familiares utilizadas en estadísticas para revelar patrones subyacentes, que pueden entonces conducir a hipótesis.
• Los métodos predictivos de las estadísticas en la previsión de combinar la teoría del caos y la geometría fractal pueden utilizarse para crear obras de vídeo.
• El arte del proceso de Jackson Pollock se basó en experimentos artísticos por los cuales las distribuciones subyacentes en la naturaleza fueron reveladas artísticamente. Con el advenimiento de las computadoras, se aplicaron métodos estadísticos para formalizar tales procesos naturales impulsados por la distribución para hacer y analizar el arte de vídeo en movimiento.
• Los métodos de estadística se pueden utilizar predicativamente en el arte del rendimiento, como en un truco de tarjeta basado en un proceso de Markov que sólo funciona parte del tiempo, cuya ocasión se puede predecir utilizando metodología estadística.
• Las estadísticas se pueden utilizar para crear arte predicativamente, como en la música estadística o estocástica inventada por Iannis Xenakis, donde la música es específica para el rendimiento. Aunque este tipo de artista no siempre sale como se espera, se comporta de maneras que son predecibles y ajustables utilizando estadísticas.

Disciplinas especializadas

Las técnicas estadísticas se utilizan en una amplia gama de tipos de investigación científica y social, que incluyen: bioestadística, biología computacional, sociología computacional, biología de redes, ciencias sociales, sociología e investigación social. Algunos campos de investigación utilizan la estadística aplicada tan ampliamente que tienen una terminología especializada. Estas disciplinas incluyen:

Además, existen tipos particulares de análisis estadístico que también han desarrollado su propia terminología y metodología especializada:

Las estadísticas también constituyen una herramienta básica clave en los negocios y la fabricación. Se utiliza para comprender la variabilidad de los sistemas de medición, los procesos de control (como en el control estadístico de procesos o SPC), para resumir datos y para tomar decisiones basadas en datos. En estos roles, es una herramienta clave y quizás la única herramienta confiable.