Regresión de mínimos cuadrados parciales

format_list_bulleted Contenido keyboard_arrow_down

ImprimirCitar

regresión de mínimos cuadrados parciales (regresión PLS) es un método estadístico que guarda cierta relación con la regresión de componentes principales; en lugar de encontrar hiperplanos de varianza máxima entre la respuesta y las variables independientes, encuentra un modelo de regresión lineal proyectando las variables predichas y las variables observables a un nuevo espacio. Debido a que tanto los datos X como los Y se proyectan a nuevos espacios, la familia de métodos PLS se conoce como modelos de factores bilineales. El análisis discriminante de mínimos cuadrados parciales (PLS-DA) es una variante que se utiliza cuando la Y es categórica.

PLS se utiliza para encontrar las relaciones fundamentales entre 2 matrices (X y Y), es decir, un enfoque de variable latente para modelar las estructuras de covarianza en estos dos espacios. Un modelo PLS intentará encontrar la dirección multidimensional en el espacio X que explica la dirección de la varianza multidimensional máxima en el espacio Y. La regresión PLS es particularmente adecuada cuando la matriz de predictores tiene más variables que observaciones y cuando hay multicolinealidad entre los valores de X. Por el contrario, la regresión estándar fracasará en estos casos (a menos que se regularice).

Los mínimos cuadrados parciales fueron introducidos por el estadístico sueco Herman O. A. Wold, quien luego lo desarrolló con su hijo, Svante Wold. Un término alternativo para PLS es proyección a estructuras latentes, pero el término mínimos cuadrados parciales sigue siendo dominante en muchas áreas. Aunque las aplicaciones originales estaban en las ciencias sociales, la regresión PLS se utiliza hoy en día más ampliamente en quimiometría y áreas relacionadas. También se utiliza en bioinformática, sensometría, neurociencia y antropología.

Idea central

Dado ${displaystyle n}$ muestras aleatorias emparejadas ${displaystyle ({vec {x}_{i},{vec {}_{i}),iin {1,...,n}$ . En el primer paso ${displaystyle j=1}$ , la regresión mínima parcial busca la dirección normalizada ${displaystyle {vec {}_{j}}$ , ${displaystyle {vec {q}_{j}$ tal que la correlación se maximice ${displaystyle max _{vec {p}_{j},{vec} {fnK}E_{fn} {X},{vec {}} {bec}} {bec}cdot {vec}}}}} {fnMicrosoft Sans Serif} ¿Qué?$ . Nota a continuación, el algoritmo se denota en la notación de matriz.

Modelo subyacente

El modelo general subyacente de PLS multivariable con ${displaystyle l}$ componentes

{displaystyle X=TP^{mathrm {T}+E}

{displaystyle Y=UQ^{mathrm {T}+F}

dónde

$X$ es un ${displaystyle ntimes m}$ matriz de los predictores
$Y$ es un ${displaystyle ntimes p}$ matriz de respuestas
$T$ y $U$ son ${displaystyle ntimes l}$ matrices que son, respectivamente, proyecciones de $X$ (X puntuación, componente o factor matriz) y proyecciones de $Y$ (Y puntuaciones)
$P$ y $Q$ respectivamente ${displaystyle mtimes l}$ y ${displaystyle ptimes l}$ carga matrices
y matrices $E$ y $F$ son los términos de error, supuesto que son variables normales independientes y distribuidas idénticamente.

Las descomposiciones de $X$ y $Y$ se crean para maximizar la covarianza entre $T$ y $U$ .

Tenga en cuenta que esta covariancia se define par por par: la covariancia de la columna i de $T$ (duración n) con la columna i de $U$ Se maximiza. Además, la covariancia de la columna i de $T$ con la columna j de $U$ (con ${displaystyle inot =j}$ ) es cero.

En PLSR, las cargas se eligen de modo que las puntuaciones formen una base ortogonal. Ésta es una diferencia importante con el PCA, donde se impone la ortogonalidad a las cargas (y no a las puntuaciones).

Algoritmos

Existen varias variantes de PLS para estimar el factor y cargar matrices $T, U, P$ y $Q$ . La mayoría de ellos construyen estimaciones de la regresión lineal entre $X$ y $Y$ como ${displaystyle Y=X{tilde {B}+{tilde {B}_{0}$ . Algunos algoritmos PLS sólo son apropiados para el caso donde $Y$ es un vector de columna, mientras que otros tratan con el caso general de una matriz $Y$ . Los algoritmos también difieren en si estiman la matriz factorial $T$ como una matriz ortogonal (es decir, ortonormal) o no. La predicción final será la misma para todas estas variedades de PLS, pero los componentes difieren.

PLS se compone de repetir iterativamente los siguientes pasos k veces (para k componentes):

encontrar las direcciones de la covariancia máxima en el espacio de entrada y salida
la regresión de los mínimos cuadrados en la puntuación de entrada
desinflando la entrada ${displaystyle X}$ y/o objetivo ${displaystyle Sí.$

PLS1

PLS1 es un algoritmo ampliamente utilizado apropiado para el caso del vector $Y$ . Estima $T$ como una matriz ortonormal. (Precaución: los vectores $t$ en el código siguiente pueden no estar normalizados adecuadamente; consulte la charla). En pseudocódigo se expresa a continuación (las letras mayúsculas son matrices, las letras minúsculas son vectores si están en superíndice y escalares si están en subíndice).

 1 función PLS1( $X, y, l$ )2  ${displaystyle X^{(0)}gets X.$ 3  ${displaystyle w^{(0)}gets X^{mathrm - Sí. - Sí.$ , una estimación inicial  $w$ .
4 para  ${displaystyle k=0}$  a  ${displaystyle l-1}$ 5  ${displaystyle t^{(k)}gets X^{(k)}w^{(k)}$ 6  ${fnMicrosoft Sans Serif}$  (nota esto es un escalar)7  ${displaystyle t^{(k)}gets t^{(k)}/t_{k}$ 8  ${displaystyle p^{(k)}gets {X^{(k)}} {mhm}t}t^{(k)}} {cH00}}$ 9  ${displaystyle q_{k}gets {y}{mathrm {T}t^{(k)}$  (nota esto es un escalar)10 si  ${displaystyle q_{k}=0}$ 11  ${displaystyle lgets k}$ , descanso el para bucle12 si  ${displaystyle k made(l-1)}$ 13  ${displaystyle X^{(k+1)}gets X^{(k)}-t_{(k)}{p^{(k)}}}}{mathrm {T}}}}$ 14  ${displaystyle w^{(k+1)}gets {X^{(k+1)}} {mhm}y}$ 15 final para16 definir  $W$  ser la matriz con columnas  ${displaystyle w^{(0)},w^{(1)},w^{(l-1)}$ .Hacer lo mismo para formar el  $P$  matriz  $q$  vector.
17  ${displaystyle Bgets W{mathrm {T}W)}{-1}q}$ 18  ${displaystyle B_{0}gets - ¿Qué?$ 19 Regreso  ${displaystyle B,B.$

Esta forma del algoritmo no requiere el centro de la entrada $X$ y $Y$ , como esto se realiza implícitamente por el algoritmo. Este algoritmo cuenta con 'deflación' de la matriz $X$ (Sutracción de ${fnMicrosoft Sans Serif}$ ), pero la deflación del vector $Sí.$ no se realiza, ya que no es necesario (se puede probar que deflar $Sí.$ produce los mismos resultados que no deflar). La variable suministrada por el usuario $l$ es el límite en el número de factores latentes en la regresión; si es igual al rango de la matriz $X$ , el algoritmo producirá las estimaciones de regresión menos cuadrados para $B$ y ${displaystyle B_{0}$

Interpretación geométrica del paso deflación en el espacio de entrada

Extensiones

OPLS

En 2002 se publicó un nuevo método llamado proyecciones ortogonales a estructuras latentes (OPLS). En OPLS, los datos de variables continuas se separan en información predictiva y no correlacionada (ortogonal). Esto conduce a diagnósticos mejorados, así como a una visualización más fácilmente interpretada. Sin embargo, estos cambios sólo mejoran la interpretabilidad, no la predictividad, de los modelos PLS. De manera similar, OPLS-DA (Análisis Discriminante) se puede aplicar cuando se trabaja con variables discretas, como en estudios de clasificación y biomarcadores.

El modelo subyacente general de OPLS es

{displaystyle X=TP^{mathrm {T}+T_{text{Y-orth}P_{text{Y-orth}}{mathrm {T}+E}

{displaystyle Y=UQ^{mathrm {T}+F}

o en O2-PLS

{displaystyle X=TP^{mathrm {T}+T_{text{Y-orth}P_{text{Y-orth}}{mathrm {T}+E}

{displaystyle ¿Y? {T}+F}

L-PLS

Otra extensión de la regresión PLS, denominada L-PLS por sus matrices en forma de L, conecta 3 bloques de datos relacionados para mejorar la previsibilidad. En resumen, se agrega una nueva matriz Z, con el mismo número de columnas que la matriz X, al análisis de regresión PLS y puede ser adecuada para incluir información general adicional sobre la interdependencia de las variables predictoras.

3PRF

En 2015, los mínimos cuadrados parciales se relacionaron con un procedimiento llamado filtro de regresión de tres pasos (3PRF). Suponiendo que el número de observaciones y variables es grande, el 3PRF (y por tanto el PLS) es asintóticamente normal para las "mejores" variables. pronóstico implícito en un modelo lineal de factores latentes. En los datos del mercado de valores, se ha demostrado que PLS proporciona pronósticos precisos fuera de la muestra de rendimientos y crecimiento del flujo de efectivo.

SVD de mínimos cuadrados parciales

Una versión de PLS basada en la descomposición de valores singulares (SVD) proporciona una implementación eficiente en la memoria que se puede utilizar para abordar problemas de alta dimensión, como relacionar millones de marcadores genéticos con miles de características de imágenes en genética de imágenes, a nivel de consumidor. hardware.

Correlación PLS

La correlación PLS (PLSC) es otra metodología relacionada con la regresión PLS, que se ha utilizado en neuroimagen y ciencias del deporte, para cuantificar la fuerza de la relación entre conjuntos de datos. Normalmente, PLSC divide los datos en dos bloques (subgrupos), cada uno de los cuales contiene una o más variables, y luego utiliza la descomposición en valores singulares (SVD) para establecer la solidez de cualquier relación (es decir, la cantidad de información compartida) que pueda existir entre los datos. dos subgrupos de componentes. Para ello, utiliza SVD para determinar la inercia (es decir, la suma de los valores singulares) de la matriz de covarianza de los subgrupos considerados.

Literatura

Kramer, R. (1998). Técnicas Chemométricas para Análisis Cuantitativo. Marcel-Dekker. ISBN 978-0-8247-0198-7.
Frank, Ildiko E.; Friedman, Jerome H. (1993). "A Statistical View of Some Chemometrics Regression Tools". Technometrics. 35 (2): 109–148. doi:10.1080/00401706.1993.10485033.
Haenlein, Michael; Kaplan, Andreas M. (2004). "Guía de Principiante al Análisis Parcial de las Plazas Menos". Comprensión de las estadísticas. 3 (4): 283–297. doi:10.1207/s15328031us0304_4.
Henseler, Joerg; Fassott, Georg (2005). "Testing Moderating Effects in PLS Path Models. Una ilustración de los procedimientos disponibles". {{cite journal}}: Cite journal requires |journal= (Ayuda)
Lingjærde, Ole-Christian; Christophersen, Nils (2000). "Shrinkage Structure of Partial Least Squares". Scandinavian Journal of Statistics. 27 (3): 459–473. doi:10.1111/1467-9469.00201. S2CID 121489764.
Tenenhaus, Michel (1998). La Régression PLS: Théorie et Pratique. París: Technip.
Rosipal, Roman; Kramer, Nicole (2006). "Overview and Recent Advances in Partial Least Squares, in Subspace, Latent Structure and Feature Selection Techniques": 34–51. {{cite journal}}: Cite journal requires |journal= (Ayuda)
Inge S. (1990). "Regreso PLS y modelos estadísticos". Scandinavian Journal of Statistics. 17 (2): 97–114. JSTOR 4616159.
Wold, Herman (1966). "Estimación de componentes principales y modelos relacionados por mínimos cuadrados iterantes". En Krishnaiaah, P.R. (ed.). Análisis multivariable. New York: Academic Press. pp. 391-420.
Wold, Herman (1981). The fix-point approach to inter dependent systems. Amsterdam: North Holland.
Wold, Herman (1985). "Pequeños cuadrados parciales". En Kotz, Samuel; Johnson, Norman L. (eds.). Enciclopedia de ciencias estadísticas. Vol. 6. Nueva York: Wiley. págs. 581 a 591.
Wold, Svante; Ruhe, Axel; Wold, Herman; Dunn, W.J. (1984). "El problema de la collinearidad en regresión lineal. los mínimos cuadrados parciales (PLS) acerca de los inversos generalizados". SIAM Journal on Scientific and Statistical Computing. 5 (3): 735–743 doi:10.1137/09052.
Garthwaite, Paul H. (1994). "Una interpretación de las plazas mínimas parciales". Journal of the American Statistical Association. 89 (425): 122–7. doi:10.1080/01621459.1994.10476452. JSTOR 2291207.
Wang, H., ed. (2010). Handbook of Partial Least Squares. ISBN 978-3-540-32825-4.
Stone, M.; Brooks, R.J. (1990). "Continuum Regression: Cross-Validated Sequentially Constructed Prediction embracing Ordinary Least Squares, Partial Least Squares and Principal Components Regression". Journal of the Royal Statistical Society, Series B. 52 (2): 237–269. JSTOR 2345437.

Enlaces web

Una breve introducción a la regresión del PLS y su historia
Video: Derivación de PLS por Prof. H. Harry Asada

Contenido relacionado

Más resultados...