Aproximaciones de Laplace anidadas integradas

Compartir Imprimir Citar

Las aproximaciones de Laplace anidadas integradas (INLA) es un método para la inferencia bayesiana aproximada basada en el método de Laplace. Está diseñado para una clase de modelos llamados modelos gaussianos latentes (LGM), para los cuales puede ser una alternativa rápida y precisa a los métodos de Monte Carlo de la cadena de Markov para calcular las distribuciones marginales posteriores. Debido a su velocidad relativa, incluso con grandes conjuntos de datos para ciertos problemas y modelos, INLA ha sido un método de inferencia popular en estadística aplicada, en particular estadística espacial, ecología y epidemiología. También es posible combinar INLA con una solución de método de elementos finitos de una ecuación diferencial parcial estocástica para estudiar, por ejemplo, procesos puntuales espaciales y modelos de distribución de especies.El método INLA se implementa en el paquete R-INLA R.

Modelos gaussianos latentes

Denotemos {displaystyle {boldsymbol {y}}=(y_{1},dots,y_{n})}la variable de respuesta (es decir, las observaciones) que pertenece a una familia exponencial, con la media mu _{i}(de y_{yo}) vinculada a un predictor lineal a eta _{i}través de una función de enlace apropiada. El predictor lineal puede adoptar la forma de un modelo aditivo (bayesiano). Todos los efectos latentes (el predictor lineal, la intersección, los coeficientes de posibles covariables, etc.) se denotan colectivamente mediante el vector { símbolo de negrita {x}}. Los hiperparámetros del modelo se denotan por { símbolo de negrita { theta}}. Según estadística bayesiana, { símbolo de negrita {x}}y { símbolo de negrita { theta}}son variables aleatorias con distribuciones previas.

Se supone que las observaciones son condicionalmente independientes dados { símbolo de negrita {x}}y { símbolo de negrita { theta}}:

{displaystyle pi ({boldsymbol {y}}|{boldsymbol {x}},{boldsymbol {theta }})=prod_{iin {mathcal {I}}}pi (y_{i}|eta _{i},{boldsymbol {theta }}),}

donde { matemáticas {yo}}es el conjunto de índices para elementos observados de boldsymbol{y}(algunos elementos pueden no ser observados, y para estos INLA calcula una distribución predictiva posterior). Tenga en cuenta que el predictor lineal { símbolo de negrita { eta}}es parte de { símbolo de negrita {x}}.

Para que el modelo sea un modelo gaussiano latente, se supone que {displaystyle {boldsymbol {x}}|{boldsymbol {theta }}}es un campo aleatorio gaussiano de Markov (GMRF) (es decir, un gaussiano multivariado con propiedades de independencia condicional adicionales) con densidad de probabilidad

{displaystyle pi ({boldsymbol {x}}|{boldsymbol {theta }})propto left|{boldsymbol {Q_{theta }}}right|^{1/2}exp left(-{frac {1}{2}}{boldsymbol {x}}^{T}{boldsymbol {Q_{theta }}}{boldsymbol {x}}right),}

donde {displaystyle {boldsymbol {Q_{theta}}}}es una { símbolo de negrita { theta}}matriz de precisión dispersa dependiente y {displaystyle left|{boldsymbol {Q_{theta}}}right|}es su determinante. La matriz de precisión es escasa debido a la suposición GMRF. No es necesario que la distribución previa { estilo de visualización  pi ({ símbolo de negrita { theta}})}de los hiperparámetros sea gaussiana. Sin embargo, se supone que el número de hiperparámetros, {displaystyle m=mathrm {dim} ({boldsymbol {theta }})}, es pequeño (por ejemplo, menos de 15).

Inferencia bayesiana aproximada con INLA

En la inferencia bayesiana, uno quiere resolver la distribución posterior de las variables latentes { símbolo de negrita {x}}y { símbolo de negrita { theta}}. Aplicando el teorema de Bayes

{displaystyle pi ({boldsymbol {x}},{boldsymbol {theta }}|{boldsymbol {y}})={frac {pi ({boldsymbol {y}}|{boldsymbol {x}},{boldsymbol {theta }})pi ({boldsymbol {x}}|{boldsymbol {theta }})pi ({boldsymbol {theta }})}{pi ({ símbolo de negrita {y}})}},}

la distribución posterior conjunta de { símbolo de negrita {x}}y { símbolo de negrita { theta}}está dada por

{displaystyle {begin{alineado}pi ({boldsymbol {x}},{boldsymbol {theta }}|{boldsymbol {y}})&propto pi ({boldsymbol {theta } })pi ({boldsymbol {x}}|{boldsymbol {theta }})prod _{i}pi (y_{i}|eta _{i},{boldsymbol {theta } })\&propto pi ({boldsymbol {theta }})left|{boldsymbol {Q_{theta }}}right|^{1/2}exp left(-{ fracción {1}{2}}{boldsymbol {x}}^{T}{boldsymbol {Q_{theta }}}{boldsymbol {x}}+sum_{i}log left[ pi (y_{i}|eta _{i},{boldsymbol {theta }})right]right).end{alineado}}}

Obtener el posterior exacto es generalmente un problema muy difícil. En INLA, el objetivo principal es aproximar los márgenes posteriores

{displaystyle {begin{matriz}{rcl}pi (x_{i}|{boldsymbol {y}})&=&int pi (x_{i}|{boldsymbol {theta }}, {boldsymbol {y}})pi ({boldsymbol {theta }}|{boldsymbol {y}})d{boldsymbol {theta }}\pi (theta _{j}|{ boldsymbol {y}})&=&int pi ({boldsymbol {theta }}|{boldsymbol {y}})d{boldsymbol {theta }}_{-j},end{ formación}}}

donde {displaystyle {boldsymbol {theta }}_{-j}=left(theta_{1},dots,theta_{j-1},theta_{j+1},dots,theta _{m}right)}_

Una idea clave de INLA es construir aproximaciones anidadas dadas por

{displaystyle {begin{array}{rcl}{widetilde {pi }}(x_{i}|{boldsymbol {y}})&=&int {widetilde {pi }}(x_{ i}|{boldsymbol {theta }},{boldsymbol {y}}){widetilde {pi }}({boldsymbol {theta }}|{boldsymbol {y}})d{boldsymbol { theta }}\{widetilde {pi }}(theta _{j}|{boldsymbol {y}})&=&int {widetilde {pi }}({boldsymbol { theta }}|{boldsymbol {y}})d{boldsymbol {theta }}_{-j},end{matriz}}}

donde {displaystyle {widetilde {pi }}(cdot |cdot)}es una densidad posterior aproximada. La aproximación a la densidad marginal { estilo de visualización  pi (x_ {i} | { símbolo de negrita {y}})}se obtiene de forma anidada aproximando primero {displaystyle pi ({boldsymbol {theta}}|{boldsymbol {y}})}y {displaystyle pi (x_{i}|{boldsymbol {theta}},{boldsymbol {y}})}, y luego integrando numéricamente { símbolo de negrita { theta}}como

{displaystyle {begin{alineado}{widetilde {pi }}(x_{i}|{boldsymbol {y}})=sum_{k}{widetilde {pi }}left(x_ {i}|{boldsymbol {theta }}_{k},{boldsymbol {y}}right)times {widetilde {pi }}({boldsymbol {theta }}_{k} |{boldsymbol {y}})times Delta _{k},end{alineado}}}

donde la suma es sobre los valores de { símbolo de negrita { theta}}, con pesos de integración dados por Delta _{k}. La aproximación de { estilo de visualización  pi ( theta _ {j} | { símbolo de negrita {y}})}se calcula integrando numéricamente {displaystyle {boldsymbol {theta}}_{-j}}a partir de {displaystyle {widetilde {pi }}({boldsymbol {theta }}|{boldsymbol {y}})}.

Para obtener la distribución aproximada {displaystyle {widetilde {pi }}({boldsymbol {theta }}|{boldsymbol {y}})}, se puede usar la relación

{displaystyle {begin{alineado}{pi }({boldsymbol {theta }}|{boldsymbol {y}})={frac {pi left({boldsymbol {x}},{ boldsymbol {theta }},{boldsymbol {y}}right)}{pi left({boldsymbol {x}}|{boldsymbol {theta }},{boldsymbol {y}} derecha)pi ({boldsymbol {y}})}},end{alineado}}}

como punto de partida. Entonces {displaystyle {widetilde {pi }}({boldsymbol {theta }}|{boldsymbol {y}})}se obtiene un valor específico de los hiperparámetros {displaystyle {boldsymbol {theta}}={boldsymbol {theta}}_{k}}con la aproximación de Laplace

{displaystyle {begin{alineado}{widetilde {pi }}({boldsymbol {theta }}_{k}|{boldsymbol {y}})&propto left.{frac { pi left({boldsymbol {x}},{boldsymbol {theta }}_{k},{boldsymbol {y}}right)}{{widetilde {pi }}_{G} izquierda({boldsymbol {x}}|{boldsymbol {theta}}_{k},{boldsymbol {y}}right)}}rightvert _{{boldsymbol {x}}={ boldsymbol {x}}^{*}({boldsymbol {theta }}_{k})},\&propto left.{frac {pi ({boldsymbol {y}}|{ boldsymbol {x}},{boldsymbol {theta }}_{k})pi ({boldsymbol {x}}|{boldsymbol {theta }}_{k})pi ({boldsymbol { theta }}_{k})}{{widetilde {pi }}_{G}left({boldsymbol {x}}|{boldsymbol {theta }}_{k},{ símbolo en negrita {y}}right)}}rightvert _ {{ símbolo en negrita {x}}={ símbolo en negrita {x}}^{*}({ símbolo en negrita { theta }}_{k})},end{alineado}}}

donde {displaystyle {widetilde {pi }}_{G}left({boldsymbol {x}}|{boldsymbol {theta}}_{k},{boldsymbol {y}}right)}es la aproximación gaussiana {displaystyle {pi }left({boldsymbol {x}}|{boldsymbol {theta }}_{k},{boldsymbol {y}}right)}cuyo modo en un dado {displaystyle {boldsymbol {theta}}_{k}}es {displaystyle {boldsymbol {x}}^{*}({boldsymbol {theta }}_{k})}. La moda se puede encontrar numéricamente, por ejemplo, con el método de Newton-Raphson.

El truco de la aproximación de Laplace anterior es el hecho de que la aproximación gaussiana se aplica en el condicional completo de { símbolo de negrita {x}}en el denominador, ya que suele estar cerca de una gaussiana debido a la propiedad GMRF de { símbolo de negrita {x}}. La aplicación de la aproximación aquí mejora la precisión del método, ya que la parte posterior {displaystyle {pi }({boldsymbol {theta }}|{boldsymbol {y}})}en sí misma no necesita estar cerca de una gaussiana, por lo que la aproximación gaussiana no se aplica directamente en {displaystyle {pi }({boldsymbol {theta }}|{boldsymbol {y}})}. La segunda propiedad importante de un GMRF, la escasez de la matriz de precisión {displaystyle {boldsymbol {Q}}_{{boldsymbol {theta }}_{k}}}, se requiere para el cálculo eficiente de {displaystyle {widetilde {pi }}({boldsymbol {theta }}_{k}|{boldsymbol {y}})}para cada valor {displaystyle {{boldsymbol {theta}}_{k}}}.

Obtener la distribución aproximada {displaystyle {widetilde {pi }}left(x_{i}|{boldsymbol {theta }}_{k},{boldsymbol {y}}right)}es más complicado, y el método INLA ofrece tres opciones para esto: aproximación gaussiana, aproximación de Laplace o aproximación de Laplace simplificada. Para obtener la integración numérica {displaystyle {widetilde {pi }}(x_{i}|{boldsymbol {y}})}, también están disponibles tres opciones: búsqueda en cuadrícula, diseño compuesto central o bayesiano empírico.