Grados de libertad (estadísticas)

format_list_bulleted Contenido keyboard_arrow_down

ImprimirCitar

Número de valores en el cálculo final de una estadística libre de variar

En estadística, el número de grados de libertad es el número de valores en el cálculo final de una estadística que pueden variar libremente.

Las estimaciones de los parámetros estadísticos pueden basarse en diferentes cantidades de información o datos. El número de piezas independientes de información que entran en la estimación de un parámetro se denominan los grados de libertad. En general, los grados de libertad de una estimación de un parámetro son iguales al número de puntajes independientes que entran en la estimación menos el número de parámetros utilizados como pasos intermedios en la estimación del parámetro en sí. Por ejemplo, si la varianza se estima en una muestra aleatoria ${textstyle N}$ partituras independientes, entonces los grados de libertad son iguales al número de partituras independientes (N) menos el número de parámetros estimados como pasos intermedios (uno, a saber, el promedio de la muestra) y por lo tanto es igual a ${textstyle N-1}$ .

Matemáticamente, los grados de libertad son el número de dimensiones del dominio de un vector aleatorio, o esencialmente el número de dimensiones "libres". componentes (cuántos componentes deben conocerse antes de que el vector esté completamente determinado).

El término se utiliza con mayor frecuencia en el contexto de modelos lineales (regresión lineal, análisis de varianza), donde ciertos vectores aleatorios están obligados a permanecer en subespacios lineales y el número de grados de libertad es la dimensión del subespacio. Los grados de libertad también se asocian comúnmente con las longitudes al cuadrado (o "suma de cuadrados" de las coordenadas) de dichos vectores y los parámetros de chi-cuadrado y otras distribuciones que surgen en problemas de pruebas estadísticas asociados.

Si bien los libros de texto introductorios pueden introducir grados de libertad como parámetros de distribución o mediante pruebas de hipótesis, es la geometría subyacente la que define los grados de libertad y es fundamental para una comprensión adecuada del concepto.

Historia

Aunque el concepto básico de grados de libertad fue reconocido ya en 1821 en el trabajo del astrónomo y matemático alemán Carl Friedrich Gauss, su definición y uso modernos fueron elaborados por primera vez por el estadístico inglés William Sealy Gosset en su Biometrika de 1908. artículo "El error probable de una media", publicado bajo el seudónimo "Student". Si bien Gosset en realidad no utilizó el término "grados de libertad", explicó el concepto mientras desarrollaba lo que se conoció como distribución t de Student. El término en sí fue popularizado por el estadístico y biólogo inglés Ronald Fisher, comenzando con su trabajo de 1922 sobre chi cuadrados.

Notación

En las ecuaciones, el símbolo típico para los grados de libertad es ν (letra griega minúscula nu). En texto y tablas, la abreviatura "d.f." se utiliza comúnmente. R. A. Fisher usó n para simbolizar grados de libertad, pero el uso moderno normalmente reserva n para el tamaño de la muestra.

De vectores aleatorios

Geométricamente, los grados de libertad se pueden interpretar como la dimensión de ciertos subespacios vectoriales. Como punto de partida, supongamos que tenemos una muestra de observaciones independientes distribuidas normalmente,

{displaystyle X_{1},dotsX_{n}.,}

Esto se puede representar como un vector aleatorio ndimensional:

{displaystyle {begin{pmatrix}X_{1}\vdots \X_{n}end{pmatrix}}.}

Dado que este vector aleatorio puede encontrarse en cualquier lugar del espacio n-dimensional, tiene n grados de libertad.

Ahora, vamos. ${displaystyle {bar {X}}}$ ser la muestra media. El vector aleatorio se puede descomponer como la suma de la muestra significa más un vector de residuos:

{displaystyle {begin{pmatrix}X_{1}\vdots \X_{n}end{pmatrix}}={bar {X}}{begin{pmatrix}1\vdots \1end{pmatrix}}+{begin{pmatrix}X_{1}-{bar {X}}\vdots \X_{n}-{bar {X}}end{pmatrix}}.}

El primer vector en el lado derecho se limita a ser un múltiples del vector de 1's, y la única cantidad libre es ${displaystyle {bar {X}}}$ . Por lo tanto, tiene un grado de libertad.

El segundo vector se ve limitado por la relación ${textstyle sum _{i=1}^{n}(X_{i}-{bar {X}})=0}$ . La primera n − 1 componentes de este vector puede ser cualquier cosa. Sin embargo, una vez que sepas el primero n − 1 componentes, la limitación le indica el valor del nt componente. Por lo tanto, este vector tiene n - 1 grados de libertad.

Matemáticamente, el primer vector es la proyección oblicua del vector de datos sobre el subespacio abarcado por el vector de unos. El 1 grado de libertad es la dimensión de este subespacio. El segundo vector residual es la proyección de mínimos cuadrados sobre el complemento ortogonal (n − 1)-dimensional de este subespacio, y tiene n − 1 grados de libertad.

En las aplicaciones de pruebas estadísticas, a menudo uno no está directamente interesado en los vectores componentes, sino en sus longitudes al cuadrado. En el ejemplo anterior, la suma de cuadrados residual es

{displaystyle sum _{i=1}^{n}(X_{i}-{bar {X}})^{2}={begin{Vmatrix}X_{1}-{bar {X}}\vdots \X_{n}-{bar {X}}end{Vmatrix}}^{2}.}

Si los puntos de datos ${displaystyle X_{i}}$ se distribuyen normalmente con media 0 y varianza ${displaystyle sigma ^{2}}$ , entonces la suma residual de cuadrados tiene una distribución escalonada de chi-squared (escalada por el factor ${displaystyle sigma ^{2}}$ Con n - 1 grados de libertad. Los grados de la libertad, aquí un parámetro de la distribución, todavía se puede interpretar como la dimensión de un subespacio vectorial subyacente.

Del mismo modo, el estadístico de la prueba t de una muestra,

{displaystyle {frac {{sqrt {n}}({bar {X}}-mu _{0})}{sqrt {sum limits _{i=1}^{n}(X_{i}-{bar {X}})^{2}/(n-1)}}}}

sigue la distribución t de un estudiante con n − 1 grados de libertad cuando el hipotetizado significa ${displaystyle mu _{0}}$ es correcto. De nuevo, los grados de libertad surgen del vector residual del denominador.

En modelos de ecuaciones estructurales

Cuando se presentan los resultados de los modelos de ecuaciones estructurales (SEM), generalmente incluyen uno o más índices de ajuste general del modelo, el más común de los cuales es un χ² estadística. Esto forma la base de otros índices que se informan comúnmente. Aunque son estas otras estadísticas las que se interpretan con mayor frecuencia, los grados de libertad del χ² son esenciales para comprender el ajuste del modelo y su la naturaleza del modelo mismo.

Los grados de libertad en SEM se calculan como una diferencia entre la cantidad de piezas únicas de información que se utilizan como entrada en el análisis, a veces denominadas conocidas, y la cantidad de parámetros que se estiman de forma única, a veces denominadas incógnitas. Por ejemplo, en un análisis factorial confirmatorio de un factor con 4 ítems, hay 10 datos conocidos (las seis covarianzas únicas entre los cuatro ítems y las varianzas de los cuatro ítems) y 8 incógnitas (4 cargas factoriales y 4 varianzas de error) para 2 grados de libertad. Los grados de libertad son importantes para comprender el ajuste del modelo, aunque sólo sea por esa razón: en igualdad de condiciones, cuantos menos grados de libertad, mejores índices como χ² será.

Se ha demostrado que los lectores de artículos que contienen SEM pueden utilizar grados de libertad para determinar si los autores de esos artículos en realidad están informando las estadísticas correctas de ajuste del modelo. En las ciencias organizacionales, por ejemplo, casi la mitad de los artículos publicados en las principales revistas informan grados de libertad que son inconsistentes con los modelos descritos en esos artículos, lo que deja al lector preguntándose qué modelos se probaron realmente.

De residuos

Una forma común de pensar en los grados de libertad es como el número de piezas de información independientes disponibles para estimar otra pieza de información. Más concretamente, el número de grados de libertad es el número de observaciones independientes en una muestra de datos que están disponibles para estimar un parámetro de la población de la que se extrae esa muestra. Por ejemplo, si tenemos dos observaciones, al calcular la media tenemos dos observaciones independientes; sin embargo, al calcular la varianza, solo tenemos una observación independiente, ya que las dos observaciones están igualmente distantes de la media muestral.

Al ajustar modelos estadísticos a los datos, los vectores de residuos están obligados a estar en un espacio de dimensión más pequeña que el número de componentes del vector. Esa dimensión más pequeña es el número de grados de libertad para el error, también llamados grados de libertad residuales.

Ejemplo

Quizás el ejemplo más simple sea este. Suponer

{displaystyle X_{1},dotsX_{n}}

son variables aleatorias, cada una con un valor esperado μ, y dejemos que

{displaystyle {overline {X}}_{n}={frac {X_{1}+cdots +X_{n}}{n}}}

sea la "media de la muestra.y#34; Entonces las cantidades

{displaystyle X_{i}-{overline {X}}_{n}}

son residuos que pueden considerarse estimaciones de los errores X_i − μ. La suma de los residuos (a diferencia de la suma de los errores) es necesariamente 0. Si se conocen los valores de cualquier n − 1 de los residuos, se puede encontrar el último. Eso significa que están obligados a estar en un espacio de dimensión n − 1. Se dice que hay n − 1 grados de libertad para los errores.

Un ejemplo que es ligeramente menos simple es el de la estimación de mínimos cuadrados de a y b en el modelo.

{displaystyle Y_{i}=a+bx_{i}+e_{i}{text{ for }}i=1,dotsn}

Donde x_i se da, pero e_i y por consiguiente Y_i son al azar. Vamos. ${displaystyle {widehat {a}}}$ y ${displaystyle {widehat {b}}}$ las estimaciones menos importantes de a y b. Luego los residuos

{displaystyle {widehat {e}}_{i}=y_{i}-({widehat {a}}+{widehat {b}}x_{i})}

están obligados a estar dentro del espacio definido por las dos ecuaciones

{displaystyle {widehat {e}}_{1}+cdots +{widehat {e}}_{n}=0,}

{displaystyle x_{1}{widehat {e}}_{1}+cdots +x_{n}{widehat {e}}_{n}=0.}

Se dice que hay n − 2 grados de libertad para el error.

Notacionalmente, la letra mayúscula Y se utiliza para especificar el modelo, mientras que la y minúscula en la definición de los residuos; esto se debe a que las primeras son variables aleatorias hipotéticas y las segundas son datos reales.

Podemos generalizar esto a una regresión múltiple que incluya parámetros y covariables p (por ejemplo, p − 1 predictores y una media (=intersección en la regresión)), en cuyo caso el costo en grados de libertad del ajuste es p, dejando n - p grados de libertad para los errores

En modelos lineales

La demostración anterior de las distribuciones t y chi-cuadrado para problemas de una muestra es el ejemplo más simple en el que surgen grados de libertad. Sin embargo, descomposiciones vectoriales y geométricas similares subyacen a gran parte de la teoría de los modelos lineales, incluida la regresión lineal y el análisis de varianza. Aquí se presenta un ejemplo explícito basado en la comparación de tres medias; Christensen (2002) analiza con más detalle la geometría de los modelos lineales.

Supongamos que se hacen observaciones independientes para tres poblaciones, ${displaystyle X_{1},ldotsX_{n}}$ , ${displaystyle Y_{1},ldotsY_{n}}$ y ${displaystyle Z_{1},ldotsZ_{n}}$ . La restricción a tres grupos y tamaños de muestra iguales simplifica la notación, pero las ideas se generalizan fácilmente.

Las observaciones se pueden descomponer como

{displaystyle {begin{aligned}X_{i}&={bar {M}}+({bar {X}}-{bar {M}})+(X_{i}-{bar {X}})\Y_{i}&={bar {M}}+({bar {Y}}-{bar {M}})+(Y_{i}-{bar {Y}})\Z_{i}&={bar {M}}+({bar {Z}}-{bar {M}})+(Z_{i}-{bar {Z}})end{aligned}}}

Donde ${displaystyle {bar {X}},{bar {Y}},{bar {Z}}}$ son los medios de las muestras individuales, y ${displaystyle {bar {M}}=({bar {X}}+{bar {Y}}+{bar {Z}})/3}$ es la media de los 3n observaciones. En la notación vectorial esta descomposición se puede escribir como

{displaystyle {begin{pmatrix}X_{1}\vdots \X_{n}\Y_{1}\vdots \Y_{n}\Z_{1}\vdots \Z_{n}end{pmatrix}}={bar {M}}{begin{pmatrix}1\vdots \1\1\vdots \1\1\vdots \1end{pmatrix}}+{begin{pmatrix}{bar {X}}-{bar {M}}\vdots \{bar {X}}-{bar {M}}\{bar {Y}}-{bar {M}}\vdots \{bar {Y}}-{bar {M}}\{bar {Z}}-{bar {M}}\vdots \{bar {Z}}-{bar {M}}end{pmatrix}}+{begin{pmatrix}X_{1}-{bar {X}}\vdots \X_{n}-{bar {X}}\Y_{1}-{bar {Y}}\vdots \Y_{n}-{bar {Y}}\Z_{1}-{bar {Z}}\vdots \Z_{n}-{bar {Z}}end{pmatrix}}.}

El vector de observación, en la mano izquierda, tiene 3n grados de libertad. En el lado derecho, el primer vector tiene un grado de libertad (o dimensión) para la media general. El segundo vector depende de tres variables aleatorias, ${displaystyle {bar {X}}-{bar {M}}}$ , ${displaystyle {bar {Y}}-{bar {M}}}$ y ${displaystyle {overline {Z}}-{overline {M}}}$ . Sin embargo, estos deben sumarse a 0 y así están limitados; el vector, por lo tanto, debe estar en un subespacio de 2 dimensiones, y tiene 2 grados de libertad. Los restantes 3n − 3 grados de libertad están en el vector residual n − 1 grados de libertad dentro de cada una de las poblaciones).

En análisis de varianza (ANOVA)

En los problemas de pruebas estadísticas, normalmente uno no está interesado en los vectores componentes en sí, sino en sus longitudes al cuadrado, o Suma de Cuadrados. Los grados de libertad asociados con una suma de cuadrados son los grados de libertad de los vectores componentes correspondientes.

El ejemplo anterior de tres poblaciones es un ejemplo de análisis de varianza unidireccional. La suma de cuadrados del modelo o tratamiento es la longitud al cuadrado del segundo vector,

{displaystyle {text{SST}}=n({bar {X}}-{bar {M}})^{2}+n({bar {Y}}-{bar {M}})^{2}+n({bar {Z}}-{bar {M}})^{2}}

con 2 grados de libertad. La suma de cuadrados residual o error es

{displaystyle {text{SSE}}=sum _{i=1}^{n}(X_{i}-{bar {X}})^{2}+sum _{i=1}^{n}(Y_{i}-{bar {Y}})^{2}+sum _{i=1}^{n}(Z_{i}-{bar {Z}})^{2}}

con 3(n−1) grados de libertad. Por supuesto, los libros de introducción a ANOVA suelen indicar fórmulas sin mostrar los vectores, pero es esta geometría subyacente la que da lugar a las fórmulas SS y muestra cómo determinar sin ambigüedades los grados de libertad en cualquier situación dada.

Bajo la hipótesis nula de que no hay diferencias entre las medias poblacionales (y suponiendo que se cumplan los supuestos de regularidad estándar de ANOVA), las sumas de cuadrados tienen distribuciones de chi-cuadrado escaladas, con los grados de libertad correspondientes. El estadístico de la prueba F es la relación, después de escalar según los grados de libertad. Si no hay diferencia entre las poblaciones, significa que esta relación sigue una distribución F con 2 y 3n − 3 grados de libertad.

En algunos entornos complicados, como los diseños de parcelas divididas desequilibrados, las sumas de cuadrados ya no tienen distribuciones de chi-cuadrado escaladas. La comparación de sumas de cuadrados con grados de libertad ya no tiene sentido y el software puede informar ciertos "grados de libertad" fraccionarios. en estos casos. Estos números no tienen una interpretación genuina de grados de libertad, sino que simplemente proporcionan una distribución chi-cuadrado aproximada para la suma de cuadrados correspondiente. Los detalles de tales aproximaciones están fuera del alcance de esta página.

En distribuciones de probabilidad

Varias distribuciones estadísticamente encontradas (Student's t, chi-squared, F) tienen parámetros que se denominan comúnmente como grados de libertad. Esta terminología simplemente refleja que en muchas aplicaciones donde se producen estas distribuciones, el parámetro corresponde a los grados de libertad de un vector aleatorio subyacente, como en el ejemplo anterior de ANOVA. Otro ejemplo simple es: ${displaystyle X_{i};i=1,ldotsn}$ son normales independientes ${displaystyle (musigma ^{2})}$ variables aleatorias, la estadística

{displaystyle {frac {sum _{i=1}^{n}(X_{i}-{bar {X}})^{2}}{sigma ^{2}}}}

sigue una distribución de Chi-squared con n - 1 grados de libertad. Aquí, los grados de libertad surgen de la suma residual de cuadrados en el numerador, y a su vez el n − 1 grados de libertad del vector residual subyacente ${displaystyle {X_{i}-{bar {X}}}}$ .

En la aplicación de estas distribuciones a modelos lineales, los parámetros de grados de libertad solo pueden tomar valores enteros. Las familias de distribuciones subyacentes permiten valores fraccionarios para los parámetros de grados de libertad, que pueden surgir en usos más sofisticados. Un conjunto de ejemplos son los problemas en los que se utilizan aproximaciones de chi-cuadrado basadas en grados de libertad efectivos. En otras aplicaciones, como el modelado de datos de cola pesada, se puede utilizar una distribución t o F como modelo empírico. En estos casos, no existe una interpretación particular de los grados de libertad de los parámetros de distribución, aunque la terminología pueda seguir utilizándose.

En regresión no estándar

Muchos métodos de regresión no estándar, incluidos mínimos cuadrados regularizados (por ejemplo, regresión de crestas), suavizadores lineales, splines de suavizado y regresión semiparamétrica, no se basan en proyecciones de mínimos cuadrados ordinarios, sino más bien en proyecciones regularizadas (generalizadas y/o penalizadas). ) mínimos cuadrados, por lo que los grados de libertad definidos en términos de dimensionalidad generalmente no son útiles para estos procedimientos. Sin embargo, estos procedimientos siguen siendo lineales en las observaciones y los valores ajustados de la regresión se pueden expresar en la forma

{displaystyle {hat {y}}=Hy,}

Donde ${displaystyle {hat {y}}}$ es el vector de valores ajustados en cada uno de los valores covariados originales del modelo ajustado, Sí. es el vector original de respuestas, y H es la matriz de sombrero o, más generalmente, matriz más suave.

Para la inferencia estadística, todavía se pueden formar sumas de cuadras: la suma modelo de cuadras es ${displaystyle |Hy|^{2}}$ ; la suma residual de las plazas es ${displaystyle |y-Hy|^{2}}$ . Sin embargo, porque H no corresponde a un ajuste normal de los mínimos cuadrados (es decir, no es una proyección ortogonal), estas sumas de cuadras ya no tienen (escaladas, no centrales) distribuciones de chi-squared, y grados de la libertad definidos dimensionalmente no son útiles.

Los grados de libertad efectivos del ajuste se pueden definir de varias maneras para implementar pruebas de bondad de ajuste, validación cruzada y otros procedimientos de inferencia estadística. Aquí se puede distinguir entre grados de libertad efectivos de regresión y grados de libertad efectivos residuales.

Grados de libertad efectivos de regresión

Para los grados de libertad efectivos de regresión, las definiciones apropiadas pueden incluir la traza de la matriz hat, tr(H), la traza de la forma cuadrática de la matriz hat, tr( H'H), la forma tr(2H – H H'), o la aproximación de Satterthwaite , tr(H'H)²/tr(H'HH'H). En el caso de la regresión lineal, la matriz hat H es X(X 'X)⁻¹X ', y todas estas definiciones se reducen a los grados de libertad habituales. Darse cuenta de

{displaystyle operatorname {tr} (H)=sum _{i}h_{ii}=sum _{i}{frac {partial {hat {y}}_{i}}{partial y_{i}}},}

los grados de libertad de regresión (no residuales) en los modelos lineales son "la suma de las sensibilidades de los valores ajustados con respecto a los valores de respuesta observados", es decir, la suma de las puntuaciones de apalancamiento.

Una manera de ayudar a conceptualizar esto es considerar una simple matriz de lijado como un borrón gaisiano, utilizado para mitigar el ruido de los datos. En contraste con un ajuste lineal o polinomio simple, computar los grados efectivos de la libertad de la función de licuado no es directo. En estos casos, es importante estimar los Grados de Libertad permitidos por los ${displaystyle H}$ matriz para que los grados residuales de la libertad puedan utilizarse para estimar pruebas estadísticas tales como ${displaystyle chi ^{2}}$ .

Grados de libertad efectivos residuales

Existen definiciones correspondientes de grados de libertad efectivos residuales (redf), con H sustituido por I − H. Por ejemplo, si el objetivo es estimar la varianza de error, el redf se definiría como tr(((()I − H)I − H)), y la estimación imparcial es (con ${displaystyle {hat {r}}=y-Hy}$ ),

{displaystyle {hat {sigma }}^{2}={frac {|{hat {r}}|^{2}}{operatorname {tr} left((I-H)'(I-H)right)}},}

{displaystyle {hat {sigma }}^{2}={frac {|{hat {r}}|^{2}}{n-operatorname {tr} (2H-HH')}}={frac {|{hat {r}}|^{2}}{n-2operatorname {tr} (H)+operatorname {tr} (HH')}}}

{displaystyle {hat {sigma }}^{2}approx {frac {|{hat {r}}|^{2}}{n-1.25operatorname {tr} (H)+0.5}}.}

La última aproximación anterior reduce el coste computacional de O()n²Sólo a O()n). En general, el numerador sería la función objetiva que se minimiza; por ejemplo, si la matriz del sombrero incluye una matriz de covariancia de observación, la ${displaystyle |{hat {r}}|^{2}}$ se convierte en ${displaystyle {hat {r}}'Sigma ^{-1}{hat {r}}}$ .

Generalidades

Tenga en cuenta que, a diferencia del caso original, se permiten grados de libertad no enteros, aunque el valor generalmente debe estar restringido entre 0 y n.

Considere, como ejemplo, el vecino más suave k, que es el promedio de los valores medidos k más cercanos al punto dado. Luego, en cada uno de los n puntos medidos, el peso del valor original en la combinación lineal que constituye el valor predicho es solo 1/k. Por tanto, la traza de la matriz hat es n/k. Por lo tanto, el suave cuesta n/k grados de libertad efectivos.

Como otro ejemplo, considere la existencia de observaciones casi duplicadas. La aplicación ingenua de la fórmula clásica, n − p, conduciría a una sobreestimación del grado de libertad de los residuos, como si cada observación fuera independiente. Sin embargo, de manera más realista, la matriz de sombrero H = X(X ' Σ⁻¹ X)⁻¹X ' Σ⁻¹ implicaría una matriz de covarianza de observación Σ que indica la correlación distinta de cero entre las observaciones.

La formulación más general del grado de libertad efectivo daría como resultado una estimación más realista para, por ejemplo, la varianza del error σ², que a su vez escala los parámetros desconocidos' a posteriori desviación estándar; el grado de libertad también afectará el factor de expansión necesario para producir una elipse de error para un nivel de confianza determinado.

Otras formulaciones

Conceptos similares son los grados de libertad equivalentes en regresión no paramétrica, el grado de libertad de la señal en estudios atmosféricos y el grado no entero de libertad en la geodesia.

La suma residual de los cuartos ${displaystyle |y-Hy|^{2}}$ tiene una distribución generalizada de chi-squared, y la teoría asociada a esta distribución proporciona una ruta alternativa a las respuestas proporcionadas anteriormente.

Más resultados...