Regresión de cresta

La regresión de cresta es un método para estimar los coeficientes de modelos de regresión múltiple en escenarios donde las variables independientes están altamente correlacionadas. Se ha utilizado en muchos campos, incluidos la econometría, la química y la ingeniería. También conocida como regularización de Tikhonov, en honor a Andrey Tikhonov, es un método de regularización de problemas mal planteados. Es particularmente útil para mitigar el problema de la multicolinealidad en la regresión lineal, que ocurre comúnmente en modelos con una gran cantidad de parámetros. En general, el método proporciona una mayor eficiencia en los problemas de estimación de parámetros a cambio de una cantidad tolerable de sesgo (ver compensación sesgo-varianza).

La teoría fue introducida por primera vez por Hoerl y Kennard en 1970 en sus artículos de Technometrics "Regresiones de crestas: estimación sesgada de problemas no ortogonales" y "Regresiones de crestas: aplicaciones en problemas no ortogonales". Este fue el resultado de diez años de investigación en el campo del análisis de crestas.

La regresión de cresta se desarrolló como una posible solución a la imprecisión de los estimadores de mínimos cuadrados cuando los modelos de regresión lineal tienen algunas variables independientes multicolineales (altamente correlacionadas), mediante la creación de un estimador de regresión de cresta (RR). Esto proporciona una estimación más precisa de los parámetros de la cresta, ya que su varianza y su estimador cuadrático medio son a menudo más pequeños que los estimadores de mínimos cuadrados derivados previamente.

Descripción general

En el caso más simple, el problema de una matriz de momento casi singular ${\displaystyle \mathbf {X} {\Mathsf {T}\Mathbf {X}$ se alivia al añadir elementos positivos a las diagonales, disminuyendo así su número de condición. Analógico al estimador de mínimos cuadrados ordinario, el simple estimador de la cresta es entonces dado por

$${\displaystyle {\hat {\beta }_{R}=\left(\mathbf {X} {\Mathsf {T}\mathbf {X} +\lambda \mathbf {I} \right)^{-1}\mathbf {X} {\fnMithsf {\f}\fnK}$$

${\displaystyle \mathbf {y}$

${\displaystyle \mathbf {X}$

${\displaystyle \mathbf}$

${\displaystyle \lambda \geq 0}$

${\displaystyle \beta ^{\mathsf {T}\beta =c}$

$${\displaystyle \min _{\beta }\,\left(\mathbf {y} -\mathbf {X} \beta \right)^{\mathsf {T}\left(\mathbf {y} -\mathbf {X} \beta\right)+\lambda \left(\beta }$$

${\displaystyle \lambda }$

${\displaystyle \lambda }$

${\displaystyle \lambda =0}$

Historia

La regularización de Tikhonov se inventó de forma independiente en muchos contextos diferentes. Se hizo ampliamente conocido gracias a su aplicación a ecuaciones integrales en los trabajos de Andrey Tikhonov y David L. Phillips. Algunos autores utilizan el término regularización de Tikhonov-Phillips. El caso de dimensión finita fue expuesto por Arthur E. Hoerl, quien adoptó un enfoque estadístico, y por Manus Foster, quien interpretó este método como un filtro Wiener-Kolmogorov (Kriging). Siguiendo a Hoerl, se conoce en la literatura estadística como regresión de crestas, llamada así por el análisis de crestas ("cresta" se refiere a la ruta desde el máximo restringido).

Regularización de Tikhonov

Supongamos que para una matriz conocida ${\displaystyle A}$ vector ${\displaystyle \mathbf}$, deseamos encontrar un vector ${\displaystyle \mathbf {x}$ tales que

$${\displaystyle A\mathbf {x} =\mathbf {b}$$

${\displaystyle \mathbf {x}$

${\displaystyle \mathbf}$

${\displaystyle A}$

El enfoque estándar es la regresión lineal de mínimos cuadrados. Sin embargo, si no ${\displaystyle \mathbf {x}$ satisfice la ecuación o más de uno ${\displaystyle \mathbf {x}$ es decir, la solución no es única, se dice que el problema está mal planteado. En tales casos, la estimación ordinaria de los mínimos cuadrados conduce a un sistema de ecuaciones excesivamente determinado, o más a menudo indeterminado. La mayoría de los fenómenos del mundo real tienen el efecto de filtros de baja velocidad en la dirección hacia adelante donde ${\displaystyle A}$ mapas ${\displaystyle \mathbf {x}$ a ${\displaystyle \mathbf}$. Por lo tanto, al resolver el problema inverso, la cartografía inversa funciona como un filtro de alto paso que tiene la tendencia indeseable de amplificar el ruido (los valores de los genes / valores singulares son mayores en la cartografía inversa donde eran más pequeños en la cartografía de avance). Además, los mínimos cuadrados ordinarios anula implícitamente cada elemento de la versión reconstruida de ${\displaystyle \mathbf {x}$ que está en el espacio nulo ${\displaystyle A}$, en lugar de permitir que un modelo sea utilizado como antes ${\displaystyle \mathbf {x}$. Los mínimos cuadrados ordinarios buscan minimizar la suma de residuos cuadrados, que se puede escribir compactamente como

$${\displaystyle\left\fnMithbf {x} {2}}$$

${\displaystyle {\cdot\cdot}$

Para dar preferencia a una solución particular con propiedades deseables, se puede incluir un término de regularización en esta minimización:

$${\displaystyle\left\fnMithbf {x} \right\ sobrevivir_{2}{2}+\left\ Gamma \mathbf {x} \right\fn_{2} {2}}$$

${\displaystyle "Gamma"$

${\displaystyle Gamma =\alpha I}$

${\displaystyle {\hat {x}}$

$${\displaystyle {\hat {x}=\left(A^{\mathsf {T}A+\Gamma ^{\mathsf {T}}\Gamma\right)}A^{\mathsf {T}\mathbf {b}$$

${\displaystyle "Gamma"$

${\displaystyle "Gamma"$

regularización L₂ se usa en muchos contextos además de la regresión lineal, como la clasificación con regresión logística o soporte. máquinas vectoriales y factorización matricial.

Aplicación a resultados de ajuste existentes

Desde Tikhonov La regularización simplemente agrega un término cuadrático a la función objetiva en problemas de optimización, es posible hacerlo después de que la optimización no regularizada haya tenido lugar. Por ejemplo, si el problema anterior con ${\displaystyle "Gamma"$ cede la solución ${\displaystyle {\hat {x}_{0}}$, la solución en presencia de ${\displaystyle \Gamma \neq 0}$ puede expresarse como:

$${\displaystyle {\hat {x}=B{\hat} {x}_{0},}$$

${\displaystyle B=\left(A^{\mathsf {T}A+\Gamma ^{\mathsf {T}\Gamma\right)}{-1}A^{\mathsf {T}A}$

Si el parámetro apropiado viene con una matriz de covariancia de las incertidumbres estimadas del parámetro ${\displaystyle V_{0}$, entonces la matriz de regularización será

$${\displaystyle B=(V_{0}{-1}+\ Gamma.$$

$${\displaystyle V=BV_{0}B^{\mathsf {T}}$$

En el contexto de ajustes de probabilidad arbitrarios, esto es válido, siempre que la aproximación cuadrática de la función de probabilidad sea válida. Esto significa que, siempre que la perturbación del resultado no regularizado sea pequeña, se puede regularizar cualquier resultado que se presente como un punto de mejor ajuste con una matriz de covarianza. No se necesita ningún conocimiento detallado de la función de probabilidad subyacente.

Regularización generalizada de Tikhonov

Para las distribuciones normales multivariables generales ${\displaystyle \mathbf {x}$ y el error de datos, se puede aplicar una transformación de las variables para reducir al caso anterior. Equivalentemente, uno puede buscar un ${\displaystyle \mathbf {x}$ para minimizar

$${\displaystyle\left\fnMithbf {x} \right\Principal_{P}{2}+\izquierda\mitbf {x} - Mathbf {x} ¿Qué?$$

${\displaystyle \left\fnMithbf {x}\right\fn_{Q}{2}}$

${\displaystyle \mathbf {x}$

${\displaystyle P}$

${\displaystyle \mathbf}$

${\displaystyle \mathbf {x} ¿Qué?$

${\displaystyle \mathbf {x}$

${\displaystyle Q}$

${\displaystyle \mathbf {x}$

${\displaystyle Q=\Gamma ^{\mathsf {T}\Gamma }$

Este problema generalizado tiene una solución óptima ${\displaystyle \mathbf {x}$ que se puede escribir explícitamente utilizando la fórmula

$${\displaystyle \mathbf {x} ¿Qué?$$

$${\displaystyle \mathbf {x} ^{*}=\mathbf {x} ¿Por qué? }$$

Regularización de Laurentyev

En algunas situaciones, se puede evitar utilizar la transposición ${\displaystyle A^{\mathsf {T}}$, como propuso Mikhail Lavrentyev. Por ejemplo, si ${\displaystyle A}$ es simétrico positivo definido, es decir. ${\displaystyle A=A^{\mathsf {T}}]$, así es su inverso ${\displaystyle A^{-1}$, que se puede utilizar para establecer la norma ponderada cuadrada ${\displaystyle\left\fnMithbf {x}\derecha\fn_{P}=\mathbf {x} } {\mthsf {T}A}{-1}\mthbf {x}$ en la regularización generalizada de Tikhonov, que conduce a minimizar

$${\displaystyle\left\fnMithbf {x} {\fnMicrosoft} ¿Por qué?$$

$${\displaystyle \mathbf {x} {\Mathsf {T}\left(A+Q\right)\mathbf {x} -2\mathbf {x}\mathsf {T}\left(\mathbf {b} +Q\mathbf {x} _{0}\right). }$$

Este problema de minimización tiene una solución óptima ${\displaystyle \mathbf {x}$ que se puede escribir explícitamente utilizando la fórmula

$${\displaystyle \mathbf {x} ^{*}=\left(A+Q\right)^{-1}\left(\mathbf {b} +Q\mathbf {x} _{0}\right),}$$

${\displaystyle A=A^{\mathsf {T}=P^{-1}$

La regularización de Lavrentyev, si es aplicable, es ventajosa a la regularización original de Tikhonov, desde la matriz de Lavrentyev ${\displaystyle A+Q.$ puede estar mejor condicionado, es decir, tener un número de condición más pequeño, en comparación con la matriz Tikhonov ${\displaystyle Oh, Dios mío.$

Regularización en el espacio de Hilbert

Los problemas lineales generalmente discretos resultan de la discretización de ecuaciones integrales, y se puede formular una regularización Tikhonov en el contexto original de infinita dimensión. En lo anterior podemos interpretar ${\displaystyle A}$ como operador compacto en los espacios de Hilbert, y ${\displaystyle x}$ y ${\displaystyle b}$ como elementos en el dominio y rango de ${\displaystyle A}$. El operador ${\displaystyle A^{*}A+\Gamma ^{\mathsf {T}\Gamma }$ es entonces un operador invertible autoadjunto.

Relación con la descomposición en valores singulares y el filtro de Wiener

Con ${\displaystyle Gamma =\alpha I}$, esta solución de mínimo tamaño se puede analizar de manera especial utilizando la descomposición de valor singular. Dada la descomposición de valor singular

$${\displaystyle A=U\Sigma V^{\mathsf {T}}$$

${\displaystyle \sigma _{i}$

$${\displaystyle {\hat {x}=VDU^{\mathsf {T}b,}$$

${\displaystyle D}$

$${\displaystyle D_{ii}={\frac {\sigma ¿Qué? ¿Qué?$$

Finalmente, está relacionado con el filtro Wiener:

$${\displaystyle {\hat {x}=\sum} ¿Por qué? {\fnK} {\fnMitsf}b}{\sigma} ¿Qué?$$

${\displaystyle F_{i}={\frac {\sigma _{i}{2}{\sigma ¿Qué?$

${\displaystyle q}$

${\displaystyle A}$

Determinación del factor Tikhonov

El parámetro de regularización óptima ${\displaystyle \alpha }$ es generalmente desconocido y a menudo en problemas prácticos se determina por un ad hoc método. Un posible enfoque se basa en la interpretación bayesiana que se describe a continuación. Otros enfoques incluyen el principio de discrepancia, la validación cruzada, el método L-curve, la probabilidad máxima restringida y el estimador de riesgo predictivo imparcial. Grace Wahba demostró que el parámetro óptimo, en el sentido de una salida de la validación cruzada minimiza

$${\displaystyle G={\frac {\fnK} {\f}}={\frac {\left\fnX{\hat {\beta} {\beta}}}}}={\fn\fn\fnK\f}\fn\f} - Sí. {Tr} \left(I-X\left(X^{\mathsf {T}X+\alpha ¿Qué?$$

${\displaystyle \operatorname {RSS}$

${\displaystyle \tau }$

Utilizando la descomposición SVD anterior, podemos simplificar la expresión anterior:

$${\displaystyle \operatorname {RSS} =\left\ ################################################################################################################################################################################################################################################################ ¿Por qué? ¿Por qué?$$

$${\displaystyle \operatorname {RSS} =\operatorname {RSS} _{0}+\left\ ¿Por qué? ¿Por qué?$$

$${\displaystyle \tau =m-\sum ¿Por qué? {\sigma - ¿Qué? ¿Qué? ^{2}=m-q+\sum ¿Por qué? {\Alpha }{2}{\sigma ¿Qué?$$

Relación con la formulación probabilística

La formulación probabilística de un problema inverso introduce (cuando todas las incertidumbres son gausianas) una matriz de covariancia ${\displaystyle C_{M}$ representando al a priori incertidumbres en los parámetros modelo, y una matriz de covariancia ${\displaystyle C_{D}$ representando las incertidumbres en los parámetros observados. En el caso especial cuando estas dos matrices son diagonales e isotrópicos, ${\displaystyle C_{M=\sigma ¿Qué?$ y ${\displaystyle C_{D=\sigma ¿Qué?$, y, en este caso, las ecuaciones de la teoría inversa reducen a las ecuaciones anteriores, con ${\displaystyle \alpha ={\sigma ¿Qué? ¿Qué?$.

Interpretación bayesiana

Aunque al principio la elección de la solución a este problema regularizado puede parecer artificial, y de hecho la matriz ${\displaystyle "Gamma"$ parece bastante arbitrario, el proceso puede justificarse desde un punto de vista bayesiano. Tenga en cuenta que para un problema malpuesto uno debe introducir necesariamente algunas suposiciones adicionales para conseguir una solución única. Estadísticamente, la distribución previa de probabilidad ${\displaystyle x}$ a veces se toma como una distribución normal multivariada. Para la simplicidad aquí se hacen las siguientes suposiciones: los medios son cero; sus componentes son independientes; los componentes tienen la misma desviación estándar ${\displaystyle \sigma _{x}$. Los datos también están sujetos a errores, y los errores en ${\displaystyle b}$ también se supone que son independientes con cero media y desviación estándar ${\displaystyle \sigma _{b}$. Bajo estos supuestos la solución regularizada Tikhonov es la solución más probable dada los datos y la a priori distribución de ${\displaystyle x}$Según el teorema de Bayes.

Si el supuesto de normalidad se reemplaza por supuestos de homocedasticidad y falta de correlación de los errores, y si todavía se supone una media cero, entonces el teorema de Gauss-Markov implica que la solución es el estimador lineal insesgado mínimo.