Coeficiente de determinación

format_list_bulleted Contenido keyboard_arrow_down

ImprimirCitar

Indicador para qué puntos de datos encajan bien en una línea o curva

En estadística, el coeficiente de determinación, denotado R² o r² y pronunciado "R cuadrado", es la proporción de la variación en la variable dependiente que es predecible a partir de la(s) variable(s) independiente(s).

Es una estadística utilizada en el contexto de modelos estadísticos cuyo objetivo principal es la predicción de resultados futuros o la prueba de hipótesis, sobre la base de otra información relacionada. Proporciona una medida de qué tan bien el modelo replica los resultados observados, en función de la proporción de la variación total de los resultados explicada por el modelo.

Hay varias definiciones de R² que sólo a veces son equivalentes. Una clase de tales casos incluye la de regresión lineal simple donde se usa r² en lugar de R². Cuando solo se incluye una intersección, entonces r² es simplemente el cuadrado del coeficiente de correlación muestral (es decir, r) entre los resultados observados y los valores predictores observados. Si se incluyen regresores adicionales, R² es el cuadrado del coeficiente de correlación múltiple. En ambos casos, el coeficiente de determinación normalmente oscila entre 0 y 1.

Hay casos en los que R² puede producir valores negativos. Esto puede surgir cuando las predicciones que se comparan con los resultados correspondientes no se han derivado de un procedimiento de ajuste de modelos utilizando esos datos. Incluso si se ha utilizado un procedimiento de ajuste del modelo, R² puede seguir siendo negativo, por ejemplo, cuando se realiza una regresión lineal sin incluir una intercepción, o cuando se realiza una regresión no lineal. La función se utiliza para ajustar los datos. En los casos en que surgen valores negativos, la media de los datos proporciona un mejor ajuste a los resultados que los valores de la función ajustada, de acuerdo con este criterio particular.

El coeficiente de determinación puede ser más (intuitivamente) informativo que MAE, MAPE, MSE y RMSE en la evaluación del análisis de regresión, ya que el primero se puede expresar como un porcentaje, mientras que las últimas medidas tienen rangos arbitrarios. También demostró ser más sólido para ajustes deficientes en comparación con SMAPE en los conjuntos de datos de prueba del artículo.

Al evaluar la bondad de ajuste de los objetos simulados (Y_pred) frente a los medidos (Y_obs) valores, no es apropiado basar esto en el R² de la regresión lineal (es decir, Y_obs= m·Y_pred + b). El R² cuantifica el grado de cualquier correlación lineal entre Y_obs y Y _pred, mientras que para la evaluación de bondad de ajuste sólo se debe tener en cuenta una correlación lineal específica: Y_obs = 1·Y_pred + 0 (es decir, la línea 1:1).

Definiciones

Un conjunto de datos n valores marcados Sí.₁,...Sí._n (conocida colectivamente como Sí._i o como vector Sí. =Sí.₁,...Sí._n]^T), cada uno asociado con un valor ajustado (o modelado, o predicho) f₁,...f_n (conocido como f_i, o a veces ._i, como vector f).

Defina los residuos como e_i = y_i − f_i (formando un vector e).

Si ${displaystyle {bar {y}}}$ es la media de los datos observados:

{displaystyle {bar {y}}={frac {1}{n}}sum _{i=1}^{n}y_{i}}

La suma de cuadrados de residuos, también llamada la suma residual de cuadrados: ${displaystyle SS_{text{res}}=sum _{i}(y_{i}-f_{i})^{2}=sum _{i}e_{i}^{2},}$
La suma total de plazas (proporcional a la diferencia de datos): ${displaystyle SS_{text{tot}}=sum _{i}(y_{i}-{bar {y}})^{2}}$

La definición más general del coeficiente de determinación es

{displaystyle R^{2}=1-{SS_{rm {res}} over SS_{rm {tot}}}}

En el mejor caso, los valores modelados coinciden exactamente con los valores observados, que resulta en ${displaystyle SS_{text{res}}=0}$ y ${displaystyle R^{2}=1}$ . Un modelo de referencia, que siempre predice ${displaystyle {bar {y}}}$ , habrá ${displaystyle R^{2}=0}$ . Modelos que tienen peores predicciones que esta base de referencia tendrá un negativo ${displaystyle R^{2}}$ .

Relación con la variación inexplicable

En forma general, R² se puede ver relacionado con la fracción de varianza no explicada (FVU), ya que el segundo término compara la varianza no explicada (variancia de los errores del modelo) con la varianza total (de los datos):

{displaystyle R^{2}=1-{text{FVU}}}

Como se explica la variación

Cuanto mayor sea el valor de R² implica un modelo de regresión más exitoso. Supongamos que R² = 0,49. Esto implica que se ha contabilizado el 49% de la variabilidad de la variable dependiente en el conjunto de datos y el 51% restante de la variabilidad aún no se ha contabilizado. Para los modelos de regresión, la suma de cuadrados de la regresión, también llamada suma de cuadrados explicada, se define como

{displaystyle SS_{text{reg}}=sum _{i}(f_{i}-{bar {y}})^{2}}

En algunos casos, como en simple regresión lineal, la suma total de plazas equivale a la suma de las otras dos sumas de cuadrados definidas anteriormente:

{displaystyle SS_{text{res}}+SS_{text{reg}}=SS_{text{tot}}}

Consulte Partición en el modelo OLS general para obtener una derivación de este resultado para un caso en el que se cumple la relación. Cuando esta relación se cumple, la definición anterior de R² es equivalente a

{displaystyle R^{2}={frac {SS_{text{reg}}}{SS_{text{tot}}}}={frac {SS_{text{reg}}/n}{SS_{text{tot}}/n}}}

donde n es el número de observaciones (casos) de las variables.

De esta forma, R² se expresa como la relación de la varianza explicada (varianza de las predicciones del modelo, que es SS_reg / n) a la varianza total (varianza muestral de la variable dependiente, que es SS_tot / n).

Esta partición de la suma de cuadrados se cumple, por ejemplo, cuando los valores del modelo ƒ_i se han obtenido mediante regresión lineal. Una condición suficiente más leve dice lo siguiente: El modelo tiene la forma

{displaystyle f_{i}={widehat {alpha }}+{widehat {beta }}q_{i},}

Donde q_i son valores arbitrarios que pueden o no depender i o en otros parámetros libres (la elección común q_i = x_i es sólo un caso especial), y las estimaciones del coeficiente ${displaystyle {widehat {alpha }}}$ y ${displaystyle {widehat {beta }}}$ se obtiene minimizando la suma residual de los cuadrados.

Este conjunto de condiciones es importante y tiene varias implicaciones para las propiedades de los residuos ajustados y los valores modelados. En particular, bajo estas condiciones:

{displaystyle {bar {f}}={bar {y}}.,}

Como coeficiente de correlación al cuadrado

En los cuadrados menos lineales múltiples regresión con un término de interceptación estimado, R² iguala el cuadrado del coeficiente de correlación Pearson entre el observado ${displaystyle y}$ y modelados (predecidos) ${displaystyle f}$ valores de datos de la variable dependiente.

En una regresión lineal de mínimos cuadrados con un único explanador pero sin un término de interceptación, esto también es igual al coeficiente de correlación de Pearson cuadrado de la variable dependiente ${displaystyle y}$ y variables explicativas ${displaystyle x.}$

No debe confundirse con el coeficiente de correlación entre dos variables explicativas, definido como

{displaystyle rho _{{widehat {alpha }},{widehat {beta }}}={operatorname {cov} left({widehat {alpha }},{widehat {beta }}right) over sigma _{widehat {alpha }}sigma _{widehat {beta }}},}

donde la covariancia entre dos estimaciones de coeficiente, así como sus desviaciones estándar, se obtienen de la matriz de covariancia de las estimaciones de coeficiente, ${displaystyle (X^{T}X)^{-1}}$ .

En condiciones más generales de modelado, donde los valores predichos podrían generarse a partir de un modelo diferente de la regresión lineal de los mínimos cuadrados, una R² valor se puede calcular como el cuadrado del coeficiente de correlación entre el original ${displaystyle y}$ y modelado ${displaystyle f}$ valores de datos. En este caso, el valor no es directamente una medida de lo bueno que son los valores modelados, sino más bien una medida de lo bueno que un predictor puede ser construido a partir de los valores modelados (creando un predictor revisado de la forma α + β_i). Según Everitt, este uso es específicamente la definición del término "coeficiente de determinación": el cuadrado de la correlación entre dos variables (general).

Interpretación

R² es una medida de la bondad de ajuste de un modelo. En regresión, el coeficiente de determinación R² es una medida estadística de qué tan bien las predicciones de regresión se aproximan a los puntos de datos reales. Un R² de 1 indica que las predicciones de regresión se ajustan perfectamente a los datos.

Los valores de R² fuera del rango de 0 a 1 ocurren cuando el modelo se ajusta a los datos peor que el peor predictor de mínimos cuadrados posible (equivalente a un hiperplano horizontal en una altura igual a la media de los datos observados). Esto ocurre cuando se eligió un modelo incorrecto o se aplicaron por error restricciones sin sentido. Si se usa la ecuación 1 de Kvålseth (esta es la ecuación que se usa con más frecuencia), R² puede ser menor que cero. Si se utiliza la ecuación 2 de Kvålseth, R² puede ser mayor que uno.

En todos los casos en los que se utiliza R², los predictores se calculan mediante regresión de mínimos cuadrados ordinaria: es decir, minimizando SS _res. En este caso, R² aumenta a medida que aumenta el número de variables en el modelo (R² es monótono aumenta con el número de variables incluidas (nunca disminuirá). Esto ilustra un inconveniente de un posible uso de R², donde se podrían seguir agregando variables (regresión del fregadero de la cocina) para aumentar el R². Por ejemplo, si uno está tratando de predecir las ventas de un modelo de automóvil a partir del consumo de gasolina, el precio y la potencia del motor, se pueden incluir factores tan irrelevantes como la primera letra del nombre del modelo. o la altura del ingeniero principal que diseña el automóvil porque la R² nunca disminuirá a medida que se agreguen variables y probablemente experimentará un aumento debido únicamente al azar.

Esto lleva al enfoque alternativo de observar el R2 ajustado. La explicación de esta estadística es casi la misma que R² pero penaliza la estadística ya que se incluyen variables adicionales en el modelo. Para casos distintos del ajuste por mínimos cuadrados ordinarios, el estadístico R² se puede calcular como se indicó anteriormente y aún así puede ser una medida útil. Si el ajuste se realiza mediante mínimos cuadrados ponderados o mínimos cuadrados generalizados, se pueden calcular versiones alternativas de R² apropiadas para esos marcos estadísticos, mientras que el ajuste "bruto" R² puede seguir siendo útil si se interpreta más fácilmente. Los valores de R² se pueden calcular para cualquier tipo de modelo predictivo, que no necesita tener una base estadística.

En un modelo lineal múltiple

Considere un modelo lineal con más de una variable explicativa, de la forma

{displaystyle Y_{i}=beta _{0}+sum _{j=1}^{p}beta _{j}X_{i,j}+varepsilon _{i},}

donde, para el iT caso, ${displaystyle {Y_{i}}}$ es la variable de respuesta, ${displaystyle X_{i,1},dotsX_{i,p}}$ son p rebeldes, y ${displaystyle varepsilon _{i}}$ es un término de error medio cero. Las cantidades ${displaystyle beta _{0},dotsbeta _{p}}$ son coeficientes desconocidos, cuyos valores son estimados por mínimos cuadrados. El coeficiente de determinación R² es una medida del ajuste global del modelo. Específicamente, R² es un elemento [0, 1] y representa la proporción de variabilidad en Y_i que puede atribuirse a alguna combinación lineal de los regredores (variables explicativas) en X.

R² a menudo se interpreta como la proporción de la variación de respuesta "explicada" por los regresores en el modelo. Así, R² = 1 indica que el modelo ajustado explica toda variabilidad en ${displaystyle y}$ , mientras R² = 0 no indica ninguna relación lineal (para la regresión recta, esto significa que el modelo de línea recta es una línea constante (slope = 0, intercept = ${displaystyle {bar {y}}}$ ) entre la variable de respuesta y los regresores). Un valor interior como R² = 0.7 se puede interpretar como sigue: "El setenta por ciento de la varianza en la variable de respuesta puede explicarse por las variables explicativas. El treinta por ciento restante se puede atribuir a variables desconocidas, acechadoras o variabilidad inherente."

Una precaución que se aplica a R², así como a otras descripciones estadísticas de correlación y asociación, es que "la correlación no implica causalidad". En otras palabras, si bien las correlaciones a veces pueden proporcionar pistas valiosas para descubrir relaciones causales entre variables, una correlación estimada distinta de cero entre dos variables no es, por sí sola, evidencia de que cambiar el valor de una variable resultaría en cambios en los valores de otras variables. Por ejemplo, la práctica de llevar cerillas (o un encendedor) se correlaciona con la incidencia de cáncer de pulmón, pero llevar cerillas no causa cáncer (en el sentido estándar de "causa").

En el caso de un solo regresor, ajustado por mínimos cuadrados, R² es el cuadrado del coeficiente de correlación producto-momento de Pearson que relaciona el regresor y la variable de respuesta. De manera más general, R² es el cuadrado de la correlación entre el predictor construido y la variable de respuesta. Con más de un regresor, el R² puede denominarse coeficiente de determinación múltiple.

Inflación del R2

En la regresión de mínimos cuadrados utilizando datos típicos, R² aumenta al menos débilmente con un aumento en el número de regresores en el modelo. Debido a que los aumentos en el número de regresores aumentan el valor de R², R² por sí solo no se puede utilizar como comparación significativa de modelos con números muy diferentes de variables independientes. Para una comparación significativa entre dos modelos, se puede realizar una prueba F sobre la suma residual de cuadrados, similar a las pruebas F en la causalidad de Granger, aunque esto no siempre es apropiado. Como recordatorio de esto, algunos autores denotan R² por R_q², donde q es el número de columnas en X (el número de explicadores incluida la constante).

Para demostrar esta propiedad, primero recuerde que el objetivo de la regresión lineal de mínimos cuadrados es

{displaystyle min _{b}SS_{text{res}}(b)Rightarrow min _{b}sum _{i}(y_{i}-X_{i}b)^{2},}

donde X_i es un vector de fila de valores de variables explicativas para el caso i y b es un vector columna de coeficientes de los respectivos elementos de X_i.

El valor óptimo del objetivo es débilmente menor a medida que se agregan más variables explicativas y, por consiguiente, columnas adicionales de ${displaystyle X}$ (la matriz de datos explicativos ila fila X_i) se añaden, por el hecho de que la minimización menos limitada conduce a un coste óptimo que es débilmente menor que la minimización más limitada. Teniendo en cuenta la conclusión anterior y observando que ${displaystyle SS_{tot}}$ depende sólo de Sí., la propiedad que no disminuye R² sigue directamente de la definición anterior.

La razón intuitiva que utiliza una variable explicativa adicional no puede bajar R² es esto: Minimización ${displaystyle SS_{text{res}}}$ es equivalente a maximizar R². Cuando se incluye la variable adicional, los datos siempre tienen la opción de darle un coeficiente estimado de cero, dejando los valores predichos y los R² sin cambios. La única manera de que el problema de optimización dé un coeficiente no cero es si lo hace mejora el R².

Lo anterior da una explicación analítica de la inflación de R². A continuación se muestra un ejemplo basado en mínimos cuadrados ordinarios desde una perspectiva geométrica.

Un caso simple a considerar primero:

{displaystyle Y=beta _{0}+beta _{1}cdot X_{1}+epsilon ,}

Esta ecuación describe el modelo ordinario de regresión menos cuadrados con un regresión. La predicción se muestra como el vector rojo en la figura de la derecha. Geométricamente, es la proyección de valor verdadero sobre un espacio modelo en ${displaystyle mathbb {R} }$ (sin interceptar). El residual se muestra como la línea roja.

{displaystyle Y=beta _{0}+beta _{1}cdot X_{1}+beta _{2}cdot X_{2}+epsilon ,}

Esta ecuación corresponde al modelo ordinario de regresión de mínimos cuadrados con dos regresión. La predicción se muestra como el vector azul en la figura de la derecha. Geométricamente, es la proyección de valor verdadero en un espacio modelo más grande en ${displaystyle mathbb {R} ^{2}}$ (sin interceptar). Notablemente, los valores ${displaystyle beta _{0}}$ y ${displaystyle beta _{0}}$ no son los mismos que en la ecuación para el espacio modelo más pequeño mientras ${displaystyle X_{1}}$ y ${displaystyle X_{2}}$ no son vectores cero. Por lo tanto, se espera que las ecuaciones produzcan diferentes predicciones (es decir, se espera que el vector azul sea diferente del vector rojo). El criterio de regresión menos cuadrado asegura que el residual sea minimizado. En la figura, la línea azul que representa el residual es ortogonal al espacio modelo en ${displaystyle mathbb {R} ^{2}}$ , dando la distancia mínima del espacio.

El espacio modelo más pequeño es un subespacio del más grande, y por lo tanto el residual del modelo más pequeño está garantizado para ser más grande. Comparando las líneas rojas y azules en la figura, la línea azul es ortogonal al espacio, y cualquier otra línea sería más grande que la azul. Considerando el cálculo para R², un valor menor ${displaystyle SS_{tot}}$ conducirá a un valor mayor R², lo que significa que la adición de regredores dará lugar a la inflación R².

Advertencias

R² no indica si:

las variables independientes son una causa de los cambios en la variable dependiente;
existe un sesgo omitido-variable;
se utilizó la regresión correcta;
se ha elegido el conjunto más adecuado de variables independientes;
hay collinearidad presente en los datos sobre las variables explicativas;
el modelo podría mejorarse utilizando versiones transformadas del conjunto existente de variables independientes;
hay suficientes puntos de datos para hacer una conclusión sólida.

Extensiones

R2 ajustado

El uso de un ajuste R² (una notación común es ${displaystyle {bar {R}}^{2}}$ , pronunciado "R bar cuadrado"; otro es ${displaystyle R_{text{a}}^{2}}$ o ${displaystyle R_{text{adj}}^{2}}$ ) es un intento de explicar el fenómeno del R² aumenta automáticamente cuando se agregan variables explicativas adicionales al modelo. Hay muchas maneras diferentes de ajustarse. Por lejos el más utilizado, hasta el punto de que es típicamente referido como ajustado R, es la corrección propuesta por Mardoqueo Ezequiel. El ajuste R² se define como

{displaystyle {bar {R}}^{2}={1-{SS_{text{res}}/{text{df}}_{text{res}} over SS_{text{tot}}/{text{df}}_{text{tot}}}}}

donde df_res son los grados de libertad de la estimación de la varianza poblacional alrededor del modelo, y df_tot son los grados de libertad de la estimación de la varianza poblacional alrededor de la media. df_res se da en términos del tamaño de la muestra n y el número de variables p en el modelo, df _res =n − p. df_tot se da de la misma manera, pero siendo p la unidad de la media, es decir, df_tot = n − 1.

Insertando los grados de libertad y usando la definición de R², se puede reescribir como:

{displaystyle {bar {R}}^{2}=1-(1-R^{2}){n-1 over n-p-1}}

donde p es el número total de variables explicativas en el modelo y n es el tamaño de la muestra.

El R² ajustado puede ser negativo, y su valor siempre será menor o igual al de R². A diferencia de R², el R² ajustado aumenta sólo cuando el aumento de R ² (debido a la inclusión de una nueva variable explicativa) es más de lo que uno esperaría ver por casualidad. Si un conjunto de variables explicativas con una jerarquía de importancia predeterminada se introduce en una regresión de una en una, calculando cada vez el R² ajustado, el nivel en el que se ajusta R² alcanza un máximo y luego disminuye, sería la regresión con la combinación ideal de tener el mejor ajuste sin términos excesivos/innecesarios.

El R² ajustado puede interpretarse como un ejemplo del equilibrio entre sesgo y varianza. Cuando consideramos el rendimiento de un modelo, un error menor representa un mejor rendimiento. Cuando el modelo se vuelve más complejo, la varianza aumentará mientras que el cuadrado del sesgo disminuirá, y estas dos métricas suman el error total. Combinando estas dos tendencias, la compensación sesgo-varianza describe una relación entre el rendimiento del modelo y su complejidad, que se muestra como una curva en forma de U a la derecha. Para el R² ajustado específicamente, la complejidad del modelo (es decir, el número de parámetros) afecta el R² y el term / frac y, por lo tanto, captura sus atributos en el rendimiento general del modelo.

R² se puede interpretar como la varianza del modelo, que está influenciada por la complejidad del modelo. Un alto R² indica un error de sesgo más bajo porque el modelo puede explicar mejor el cambio de Y con predictores. Por esta razón, hacemos menos (erróneos) suposiciones, y esto resulta en un error de sesgo más bajo. Mientras tanto, para acomodar menos supuestos, el modelo tiende a ser más complejo. Sobre la base de la compensación de bias-variancia, una mayor complejidad conducirá a una disminución del sesgo y un mejor rendimiento (bajo la línea óptima). In ${displaystyle {bar {R}}^{2}}$ , el término (1-R²) será menor con alta complejidad y resulta en un mayor ${displaystyle {bar {R}}^{2}}$ , indicando constantemente un mejor rendimiento.

Por otro lado, el término término/fracción se ve afectado inversamente por la complejidad del modelo. El término/frac aumentará al agregar regresores (es decir, mayor complejidad del modelo) y conducirá a un peor rendimiento. Basado en el equilibrio entre sesgo y varianza, una mayor complejidad del modelo (más allá de la línea óptima) conduce a errores crecientes y a un peor rendimiento.

Considerando el cálculo ${displaystyle {bar {R}}^{2}}$ , más parámetros aumentarán R² y conducir a un aumento de ${displaystyle {bar {R}}^{2}}$ . Sin embargo, añadir más parámetros aumentarán el término/frac y así disminuirán ${displaystyle {bar {R}}^{2}}$ . Estas dos tendencias construyen una relación de u-forma inversa entre la complejidad del modelo y ${displaystyle {bar {R}}^{2}}$ , que está en consonancia con la tendencia de forma u de complejidad modelo vs. rendimiento general. Diferente R², que siempre aumentará cuando la complejidad del modelo aumenta, ${displaystyle {bar {R}}^{2}}$ aumentará sólo cuando el sesgo que el regresor añadido elimina es mayor que la varianza introducida simultáneamente. Uso ${displaystyle {bar {R}}^{2}}$ en lugar de R² por lo tanto, podría prevenir el exceso de adaptación.

Siguiendo la misma lógica, el R² ajustado puede interpretarse como un estimador menos sesgado de la población R^{2, mientras que la muestra observada R² es una estimación con sesgo positivo del valor de la población. El R² ajustado es más apropiado al evaluar el ajuste del modelo (la varianza en la variable dependiente explicada por las variables independientes) y al comparar modelos alternativos en la etapa de selección de características del modelo. edificio.}

El principio detrás del estadístico R² ajustado se puede ver reescribiendo el R² ordinario como

{displaystyle R^{2}={1-{{textit {VAR}}_{text{res}} over {textit {VAR}}_{text{tot}}}}}

Donde ${displaystyle {text{VAR}}_{text{res}}=SS_{text{res}}/n}$ y ${displaystyle {text{VAR}}_{text{tot}}=SS_{text{tot}}/n}$ son las diferencias de muestra de los residuos estimados y la variable dependiente respectivamente, que se pueden considerar como estimaciones parciales de las diferencias de población de los errores y de la variable dependiente. Estas estimaciones se sustituyen por versiones estadísticamente imparciales: ${displaystyle {text{VAR}}_{text{res}}=SS_{text{res}}/(n-p)}$ y ${displaystyle {text{VAR}}_{text{tot}}=SS_{text{tot}}/(n-1)}$ .

A pesar de utilizar estimadores insesgados para las varianzas poblacionales del error y la variable dependiente, el R² ajustado no es un estimador insesgado de la población R i>², que resulta de utilizar las varianzas poblacionales de los errores y la variable dependiente en lugar de estimarlas. Ingram Olkin y John W. Pratt derivaron el estimador insesgado de varianza mínima para la población R², que se conoce como estimador de Olkin-Pratt. Las comparaciones de diferentes enfoques para ajustar R² concluyeron que en la mayoría de las situaciones se debería preferir una versión aproximada del estimador de Olkin-Pratt o el estimador exacto de Olkin-Pratt (Ezekiel ) ajustado R².

Coeficiente de determinación parcial

El coeficiente de determinación parcial se puede definir como la proporción de variación que no se puede explicar en un modelo reducido, pero que puede explicarse mediante los predictores especificados en un modelo (más) completo. Este coeficiente se utiliza para proporcionar información sobre si uno o más predictores adicionales pueden ser útiles en un modelo de regresión más completamente especificado.

El cálculo del R² parcial es relativamente sencillo después de estimar dos modelos y generar las tablas ANOVA para ellos. El cálculo para el R² parcial es

${displaystyle {frac {SS_{text{ res, reduced}}-SS_{text{ res, full}}}{SS_{text{ res, reduced}}}},}$

que es análogo al coeficiente de determinación habitual:

${displaystyle {frac {SS_{text{tot}}-SS_{text{res}}}{SS_{text{tot}}}}.}$

Generalizando y descomponiendo R2

Como se ha explicado anteriormente, heurística de selección modelo como el Ajustado ${displaystyle R^{2}}$ criterio y la prueba F examinan si el total ${displaystyle R^{2}}$ aumenta suficientemente para determinar si un nuevo regresión debe ser añadido al modelo. Si un regresor se añade al modelo que está muy correlacionado con otros regredores que ya han sido incluidos, entonces el total ${displaystyle R^{2}}$ difícilmente aumentará, incluso si el nuevo regresión es de relevancia. Como resultado, las heurísticas antes mencionadas ignorarán a los regresores pertinentes cuando las cruzadas son altas.

Alternativamente, se puede descomponer una versión generalizada de ${displaystyle R^{2}}$ para cuantificar la relevancia de desviarse de una hipótesis. Como muestra Hoornweg (2018), varios estimadores de encogimiento – como la regresión lineal de Bayesian, la regresión de la cresta y el lasso (adaptivo) – hacen uso de esta descomposición de ${displaystyle R^{2}}$ cuando se reducen gradualmente los parámetros de las soluciones OLS sin restricciones hacia los valores hipotetizados. Definimos primero el modelo de regresión lineal como

${displaystyle y=Xbeta +varepsilon.}$

Se supone que la matriz ${displaystyle X}$ está estandarizado con Z-scores y que el vector de columna ${displaystyle y}$ está centrado en tener una media de cero. Dejar el vector de la columna ${displaystyle beta _{0}}$ referencia a los parámetros hipotetizados de regresión y dejar la columna vector ${displaystyle b}$ denota los parámetros estimados. Entonces podemos definir

${displaystyle R^{2}=1-{frac {(y-Xb)'(y-Xb)}{(y-Xbeta _{0})'(y-Xbeta _{0})}}.}$

An ${displaystyle R^{2}}$ de 75% significa que la precisión en el muestreo mejora un 75% si los datos optimizados ${displaystyle b}$ soluciones se utilizan en lugar de la hipótesis ${displaystyle beta _{0}}$ valores. En el caso especial ${displaystyle beta _{0}}$ es un vector de ceros, obtenemos lo tradicional ${displaystyle R^{2}}$ otra vez.

El efecto individual en ${displaystyle R^{2}}$ de la desviación de una hipótesis se puede calcular con ${displaystyle R^{otimes }}$ ('R-outer'). Esto ${displaystyle p}$ veces ${displaystyle p}$ matriz se da por

${displaystyle R^{otimes }=(X'{tilde {y}}_{0})(X'{tilde {y}}_{0})'(X'X)^{-1}({tilde {y}}_{0}'{tilde {y}}_{0})^{-1},}$

Donde ${displaystyle {tilde {y}}_{0}=y-Xbeta _{0}}$ . Los elementos diagonales de ${displaystyle R^{otimes }}$ exactamente añadir ${displaystyle R^{2}}$ . Si los regresores no están relacionados y ${displaystyle beta _{0}}$ es un vector de ceros, entonces el ${displaystyle j^{text{th}}}$ elemento diagonal de ${displaystyle R^{otimes }}$ simplemente corresponde a ${displaystyle r^{2}}$ valor entre ${displaystyle x_{j}}$ y ${displaystyle y}$ . Cuando los rebeldes ${displaystyle x_{i}}$ y ${displaystyle x_{j}}$ están correlacionados, ${displaystyle R_{ii}^{otimes }}$ podría aumentar al costo de una disminución ${displaystyle R_{jj}^{otimes }}$ . Como resultado, los elementos diagonales de ${displaystyle R^{otimes }}$ puede ser más pequeño que 0 y, en casos más excepcionales, más de 1. Para hacer frente a tales incertidumbres, varios estimadores de reducción toman implícitamente un promedio ponderado de los elementos diagonales de ${displaystyle R^{otimes }}$ para cuantificar la relevancia de la desviación de un valor hipotetizado. Haga clic en el láser por ejemplo.

R2 en regresión logística

En el caso de la regresión logística, generalmente ajustada por máxima verosimilitud, existen varias opciones de pseudo-R2.

Uno es el R² generalizado propuesto originalmente por Cox & Snell, e independientemente por Magee:

${displaystyle R^{2}=1-left({{mathcal {L}}(0) over {mathcal {L}}({widehat {theta }})}right)^{2/n}}$

Donde ${displaystyle {mathcal {L}}(0)}$ es la probabilidad del modelo con sólo la interceptación, ${displaystyle {{mathcal {L}}({widehat {theta }})}}$ es la probabilidad del modelo estimado (es decir, el modelo con un determinado conjunto de estimaciones del parámetro) y n es el tamaño de la muestra. Es fácilmente reescrito a:

${displaystyle R^{2}=1-e^{{frac {2}{n}}(ln({mathcal {L}}(0))-ln({mathcal {L}}({widehat {theta }}))}=1-e^{-D/n}}$

donde D es el estadístico de prueba de la prueba de razón de verosimilitud.

Nico Nagelkerke señaló que tenía las siguientes propiedades:

Es consistente con el coeficiente clásico de determinación cuando ambos pueden ser calculados;
Su valor se maximiza por la estimación de probabilidad máxima de un modelo;
Es asintóticamente independiente del tamaño de la muestra;
La interpretación es la proporción de la variación explicada por el modelo;
Los valores están entre 0 y 1, con 0 denotando ese modelo no explica ninguna variación y 1 denotando que explica perfectamente la variación observada;
No tiene ninguna unidad.

Sin embargo, en el caso de un modelo logístico, donde ${displaystyle {mathcal {L}}({widehat {theta }})}$ no puede ser mayor que 1, R² es entre 0 y ${displaystyle R_{max }^{2}=1-({mathcal {L}}(0))^{2/n}}$ : por lo tanto, Nagelkerke sugirió la posibilidad de definir una escalada R² como R²/R²_max.

Comparación con norma de residuos

Ocasionalmente, la norma de los residuos se utiliza para indicar la bondad del ajuste. Este término se calcula como la raíz cuadrada de la suma de los cuadrados de los residuos:

${displaystyle {text{norm of residuals}}={sqrt {SS_{text{res}}}}=|e|.}$

Ambos R² y la norma de los residuos tienen sus méritos relativos. Para el análisis de mínimos cuadrados R² varía entre 0 y 1, con números más grandes indicando mejores ajustes y 1 representando un ajuste perfecto. La norma de los residuos varía de 0 a infinito con números más pequeños indicando mejores ajustes y cero indicando un ajuste perfecto. Una ventaja y desventaja R² es ${displaystyle SS_{text{tot}}}$ término actúa para normalizar el valor. Si Sí._i todos los valores son multiplicados por una constante, la norma de los residuos también cambiará por esa constante pero R² permanecerá igual. Como ejemplo básico, para los mínimos cuadrados lineales caben al conjunto de datos:

x	1	2	3	4	5
Sí.	1.9	3.7	5.8	8.0	9.6

R² = 0,998 y norma de residuos = 0,302.

Si todos los valores de y se multiplican por 1000 (por ejemplo, en un cambio de prefijo SI), entonces R² sigue siendo el mismo , pero norma de residuos = 302.

Otro indicador de ajuste de un solo parámetro es el RMSE de los residuos, o desviación estándar de los residuos. Esto tendría un valor de 0,135 para el ejemplo anterior dado que el ajuste fue lineal con una intersección no forzada.

Historia

La creación del coeficiente de determinación se ha atribuido al genetista Sewall Wright y se publicó por primera vez en 1921.

Contenido relacionado

Conjunto vacío
En matemáticas, el conjunto vacío es el conjunto único que no tiene elementos; su tamaño o cardinalidad es cero. Algunas teorías axiomáticas de...
Precisión y exactitud
En un conjunto de medidas, la exactitud es la cercanía de las medidas a un valor específico, mientras que la precisión es la cercanía de las medidas entre...
Historia de la lógica
La historia de la lógica se ocupa del estudio del desarrollo de la ciencia de la inferencia válida tal como se encuentran en el Organon, encontraron una...
Más resultados...
Te puede interesar