Algoritmo de Gauss-Newton

El algoritmo de Gauss-Newton se utiliza para resolver problemas de mínimos cuadrados no lineales, lo que equivale a minimizar una suma de valores de función al cuadrado. Es una extensión del método de Newton para encontrar el mínimo de una función no lineal. Dado que una suma de cuadrados no debe ser negativa, se puede considerar que el algoritmo utiliza el método de Newton para aproximar iterativamente los ceros de los componentes de la suma y, por lo tanto, minimizar la suma. En este sentido, el algoritmo también es un método eficaz para resolver sistemas de ecuaciones sobredeterminados. Tiene la ventaja de que no se requieren segundas derivadas, que pueden resultar difíciles de calcular.

Los problemas de mínimos cuadrados no lineales surgen, por ejemplo, en la regresión no lineal, donde se buscan parámetros en un modelo de modo que el modelo concuerde bien con las observaciones disponibles.

El método lleva el nombre de los matemáticos Carl Friedrich Gauss e Isaac Newton, y apareció por primera vez en Gauss' 1809 obra Theoria motus corporum coelestium in sectionibus conicis solem ambientum.

Descripción

Dado ${displaystyle m}$ funciones ${displaystyle {textbf {r}=(r_{1},ldotsr_{m}}}$ (a menudo llamados residuos) de ${displaystyle n}$ variables ${displaystyle {boldsymbol {beta }=(beta _{1},ldots beta _{n}),}$ con ${displaystyle mgeq n,}$ el algoritmo Gauss–Newton encuentra iterativamente el valor ${displaystyle beta }$ que minimiza la suma de cuadrados

$${displaystyle S({boldsymbol {beta })=sum ¿Por qué?$$

Empezando con una suposición inicial ${displaystyle {boldsymbol {beta}} {}}}} {fnMicrosoft Sans Serif}$ para el mínimo, el método procede por las iteraciones

$${displaystyle {boldsymbol {beta {fnMicrosoft Sans Serif} {beta} {fnMitbf {f} {fnMicrosoft} {f} {fnMicrosoft} {fnMicrosoft} {fnMicrosoft}} {T}mathbf {J_{r}right)}mathbf [J_{r] {T}mathbf {r}left({boldsymbol {beta }} {derecho)}}$$

donde, si r y β son vectores columna, las entradas de la matriz jacobiana son

$${displaystyle left(mathbf {J_{r}right)_{ij}={frac {partial r_{i}left({boldsymbol {beta }}}}{(s)}right)}{partial beta ♪♪$$

y el símbolo ${displaystyle ^{operatorname {T}$ denota la matriz transpose.

En cada iteración, la actualización ${displaystyle Delta ={beta} {beta} {s+1)}-{boldsymbol {beta }}} {}}}}}} {cH}}}$ se puede encontrar reorganizando la ecuación anterior en los siguientes dos pasos:

• ${displaystyle Delta =-left(mathbf [J_{r] {T}mathbf {J_{r}right)}mathbf [J_{r] {T}mathbf {r} left({boldsymbol {beta } { {} {} {}}right)}}$
• ${displaystyle mathbf {J_{r} Mathbf {J_{r} Delta =-mathbf {J_{r} {T}mathbf {r} left({boldsymbol {beta } { {} {} {}}right)}}$

Con sustituciones ${textstyle A=mathbf [J_{r] Mathbf {J_{r}$, ${displaystyle mathbf {b} =-mathbf {J_{r} {T}mathbf {r} left({boldsymbol {beta } { {} {} {}}right)}}$, y ${displaystyle mathbf {x} =Delta }$, esto se convierte en la ecuación de forma de matriz convencional ${displaystyle Amathbf {x} =mathbf {b}$, que puede ser resuelto en una variedad de métodos (ver Notas).

Si m = n, la iteración se simplifica a

$${displaystyle {boldsymbol {beta {beta} {fnMitbf {fnh} {fnMitbf {fnh}}m]} {f}}m]}mtbf {cHFF} {cHFF} {cH00}}}}}}}}}}}}} {derecho)}$$

que es una generalización directa del método de Newton en una dimensión.

En el ajuste de datos, donde el objetivo es encontrar los parámetros ${displaystyle {boldsymbol {beta }$ tal que una función modelo dada ${displaystyle mathbf {f} {máthbf {x}{boldsym {bolbeta}}}}}$ mejor se ajusta a algunos puntos de datos ${displaystyle (x_{i},y_{i}$, las funciones ${displaystyle R_{i}$son los residuos:

$${displaystyle Oh, Dios mío. Sí. }$$

Entonces, el método Gauss–Newton se puede expresar en términos del Jacobiano ${displaystyle mathbf {J_{f} =-mathbf {J_{r}$ de la función ${displaystyle mathbf {f}$ como

$${displaystyle {boldsymbol {beta ##### {beta} {beta}}}+left(mathbf {J_{f}} {f} {f} {f} {f}f} {T}mathbf {J_{f}right)}mathbf {J_{f} {T}mathbf {r}left({boldsymbol {beta }}}derecha). }$$

Note que ${displaystyle left(mathbf {J_{f} {T}mathbf {J_{f}right)}mathbf {J_{f} {T}$ es el seudoinverso izquierdo ${displaystyle mathbf {J_{f}$.

Ejemplo

Propiedades de convergencia

La iteración Gauss-Newton está garantizada a converger hacia un punto mínimo local ${displaystyle {hat {beta }$ en 4 condiciones: Funciones ${displaystyle.$ son dos veces continuamente diferenciables en un conjunto de convex abierto ${displaystyle Dni {hat {beta }$, el Jacobiano ${displaystyle mathbf {J} _{mathbf {r} {hat {beta}}}}}$ es de rango de columna completa, el itinerario inicial ${displaystyle beta ^{(0)}$ está cerca ${displaystyle {hat {beta }$, y el valor mínimo local ${displaystyle Silencios({hat {beta }}$ es pequeño. La convergencia es cuadrática si ${displaystyle Silencios({hat {beta })$.

Resolver sistemas de ecuaciones sobredeterminados

La iteración de Gauss-Newton

Derivación del método de Newton

A continuación, el algoritmo de Gauss-Newton se derivará del método de Newton para la optimización de funciones mediante una aproximación. Como consecuencia, la tasa de convergencia del algoritmo de Gauss-Newton puede ser cuadrática bajo ciertas condiciones de regularidad. En general (en condiciones más débiles), la tasa de convergencia es lineal.

Versiones mejoradas

Con el método Gauss–Newton la suma de los cuadrados de los residuos S puede no disminuir en cada iteración. Sin embargo, dado que Δ es una dirección de descenso, a menos que ${displaystyle Sleft({boldsymbol {beta - Sí.$ es un punto estacionario, sostiene que ${displaystyle Sleft({boldsymbol {beta ######alpha Delta right] - Sí.$ para todo lo suficientemente pequeño ${displaystyle alpha œ0}$. Así, si ocurre la divergencia, una solución es emplear una fracción ${displaystyle alpha }$ del vector de aumento Δ en la fórmula de actualización:

Optimización a gran escala

Para la optimización a gran escala, el método Gauss–Newton es de especial interés porque a menudo (aunque ciertamente no siempre) es cierto que la matriz ${displaystyle mathbf {J}$ es más escaso que el Hessiano aproximado ${displaystyle mathbf {J} _{mathbf {r} ################################################################################################################################################################################################################################################################ Mathbf {J_{r}$. En tales casos, el cálculo del paso en sí normalmente tendrá que hacerse con un método iterativo aproximado apropiado para problemas grandes y escasos, como el método conjugado de gradiente.

Algoritmos relacionados

En un método cuasi-Newton, como el debido a Davidon, Fletcher y Powell o Broyden–Fletcher–Goldfarb–Shanno (método BFGS) una estimación del Hessian completo ${textstyle {frac {partial ^{2}S}{partial beta _{j}partial beta ♪♪$ se construye numéricamente utilizando los primeros derivados ${fnMicroc} {cMicrosoft Sans Serif} #### {f}{partial beta - Sí.$ sólo para que después n El método de refinamiento se aproxima estrechamente al método de Newton en el rendimiento. Tenga en cuenta que los métodos cuasi-Newton pueden minimizar las funciones reales generales, mientras que Gauss–Newton, Levenberg–Marquardt, etc. se ajusta sólo a los problemas no lineales de las menos cuadras.

Implementaciones de ejemplo

Julia

Notas