Distribución a priori conjugada
En la teoría de probabilidad bayesiana, si la distribución posterior p (θ | x) está en la misma familia de distribución de probabilidad que la distribución de probabilidad anterior p (θ), la distribución anterior y la posterior se denominan distribuciones conjugadas, y la anterior se denomina distribución previa conjugada. para la función de verosimilitud p (x | θ).
Un previo conjugado es una conveniencia algebraica, que da una expresión de forma cerrada para el posterior; de lo contrario, puede ser necesaria la integración numérica. Además, los a priori conjugados pueden dar intuición, al mostrar de manera más transparente cómo una función de probabilidad actualiza una distribución a priori.
El concepto, así como el término "conjugado anterior", fueron introducidos por Howard Raiffa y Robert Schlaifer en su trabajo sobre la teoría de la decisión bayesiana. Un concepto similar había sido descubierto de forma independiente por George Alfred Barnard.
Ejemplo
La forma del anterior conjugado generalmente se puede determinar mediante la inspección de la densidad de probabilidad o la función de masa de probabilidad de una distribución. Por ejemplo, considere una variable aleatoria que consiste en el número de éxitos en los ensayos de Bernoulli con una probabilidad de éxito desconocida en [0,1]. Esta variable aleatoria seguirá la distribución binomial, con una función de masa de probabilidad de la forma
El previo conjugado habitual es la distribución beta con parámetros (, ):
donde y se eligen para reflejar cualquier creencia o información existente (= 1 y = 1 darían una distribución uniforme) y Β (, ) es la función Beta que actúa como una constante de normalización.
En este contexto, y se denominan hiperparámetros (parámetros del anterior), para distinguirlos de los parámetros del modelo subyacente (aquí q). Es una característica típica de los previos conjugados que la dimensionalidad de los hiperparámetros es uno mayor que la de los parámetros de la distribución original. Si todos los parámetros son valores escalares, esto significa que habrá un hiperparámetro más que un parámetro; pero esto también se aplica a los parámetros con valores vectoriales y matriciales. (Consulte el artículo general sobre la familia exponencial y considere también la distribución de Wishart, antes conjugada de la matriz de covarianza de una distribución normal multivariante, para ver un ejemplo en el que se trata de una gran dimensionalidad).
Si luego muestreamos esta variable aleatoria y obtenemos s éxitos y f = n - s fracasos, tenemos
que es otra distribución Beta con parámetros (+ s, + f). Esta distribución posterior podría usarse como distribución anterior para más muestras, con los hiperparámetros simplemente agregando cada información adicional a medida que llega.
Interpretaciones
Pseudo-observaciones
A menudo es útil pensar en los hiperparámetros de una distribución previa conjugada como correspondientes a haber observado un cierto número de pseudoobservaciones con propiedades especificadas por los parámetros. Por ejemplo, se puede pensar que los valores y de una distribución beta corresponden a éxitos y fracasos si se usa el modo posterior para elegir un ajuste de parámetro óptimo, o éxitos y fracasos.fallos si se utiliza la media posterior para elegir un ajuste de parámetro óptimo. En general, para casi todas las distribuciones previas conjugadas, los hiperparámetros se pueden interpretar en términos de pseudoobservaciones. Esto puede ayudar tanto a proporcionar una intuición detrás de las ecuaciones de actualización a menudo desordenadas, como a ayudar a elegir hiperparámetros razonables para una anterior.
Analogía con funciones propias
Las funciones previas conjugadas son análogas a las funciones propias en la teoría de operadores, en el sentido de que son distribuciones en las que el "operador condicionante" actúa de una manera bien entendida, pensando en el proceso de cambio de lo anterior a lo posterior como un operador.
Tanto en las funciones propias como en las anteriores conjugadas, existe un espacio de dimensión finita que el operador conserva: la salida tiene la misma forma (en el mismo espacio) que la entrada. Esto simplifica enormemente el análisis, ya que por lo demás considera un espacio de dimensión infinita (espacio de todas las funciones, espacio de todas las distribuciones).
Sin embargo, los procesos son solo análogos, no idénticos: el condicionamiento no es lineal, ya que el espacio de distribuciones no está cerrado bajo combinación lineal, solo combinación convexa, y el posterior es solo de la misma forma que el anterior, no un múltiplo escalar.
Así como uno puede analizar fácilmente cómo evoluciona una combinación lineal de funciones propias bajo la aplicación de un operador (porque, con respecto a estas funciones, el operador está diagonalizado), uno puede analizar fácilmente cómo evoluciona una combinación convexa de anteriores conjugados bajo condicionamiento; esto se llama usar un hiperprior y corresponde al uso de una densidad de mezcla de anteriores conjugados, en lugar de un único conjugado previo.
Sistema dinámico
Se puede pensar en el condicionamiento sobre antecedentes conjugados como la definición de un tipo de sistema dinámico (de tiempo discreto): a partir de un conjunto dado de hiperparámetros, los datos entrantes actualizan estos hiperparámetros, por lo que uno puede ver el cambio en los hiperparámetros como una especie de "evolución temporal" de el sistema, correspondiente al "aprendizaje". Comenzar en diferentes puntos produce diferentes flujos a lo largo del tiempo. De nuevo, esto es análogo al sistema dinámico definido por un operador lineal, pero tenga en cuenta que dado que diferentes muestras conducen a diferentes inferencias, esto no depende simplemente del tiempo, sino de los datos a lo largo del tiempo. Para conocer enfoques relacionados, consulte Estimación bayesiana recursiva y Asimilación de datos.
Ejemplo práctico
Suponga que un servicio de alquiler de coches opera en su ciudad. Los conductores pueden dejar y recoger automóviles en cualquier lugar dentro de los límites de la ciudad. Puede buscar y alquilar coches mediante una aplicación.
Suponga que desea encontrar la probabilidad de que pueda encontrar un automóvil de alquiler a una corta distancia de su domicilio en cualquier momento del día.
Durante tres días, mira la aplicación y encuentra la siguiente cantidad de automóviles a poca distancia de su domicilio:
Si asumimos que los datos provienen de una distribución de Poisson, podemos calcular la estimación de máxima verosimilitud de los parámetros del modelo que es Usando esta estimación de máxima verosimilitud podemos calcular la probabilidad de que haya al menos un automóvil disponible en un día determinado:
Esta es la distribución de Poisson que es más probable que haya generado los datos observados . Pero los datos también podrían haber venido de otra distribución de Poisson, por ejemplo, una con , o , etc. De hecho, hay un número infinito de distribuciones de Poisson que podrían haber generado los datos observados y con relativamente pocos puntos de datos deberíamos estar bastante inseguros sobre cuál la distribución exacta de poisson generó estos datos. Intuitivamente, deberíamos tomar un promedio ponderado de la probabilidad de cada una de esas distribuciones de Poisson, ponderado por la probabilidad de cada uno, dados los datos que hemos observado .
Generalmente, esta cantidad se conoce como la distribución predictiva posterior donde es un nuevo punto de datos, son los datos observados y son los parámetros del modelo. Usando el teorema de Bayes podemos expandir por lo tanto . Generalmente, esta integral es difícil de calcular. Sin embargo, si elige una distribución previa conjugada , se puede derivar una expresión de forma cerrada. Esta es la columna predictiva posterior en las tablas a continuación.
Volviendo a nuestro ejemplo, si elegimos la distribución Gamma como nuestra distribución anterior sobre la tasa de las distribuciones de Poisson, entonces el predictivo posterior es la distribución binomial negativa, como se puede ver en la última columna de la tabla a continuación. La distribución Gamma está parametrizada por dos hiperparámetros que tenemos que elegir. Al observar los gráficos de la distribución gamma, elegimos , que parece ser un dato previo razonable para el número promedio de autos. La elección de los hiperparámetros previos es inherentemente subjetiva y se basa en el conocimiento previo.
Dados los hiperparámetros anteriores y podemos calcular los hiperparámetros posteriores y
Dados los hiperparámetros posteriores, finalmente podemos calcular el predictivo posterior de
Esta estimación mucho más conservadora refleja la incertidumbre en los parámetros del modelo, que tiene en cuenta el predictivo posterior.
Tabla de distribuciones conjugadas
Sea n el número de observaciones. En todos los casos a continuación, se supone que los datos constan de n puntos (que serán vectores aleatorios en los casos multivariados).
Si la función de verosimilitud pertenece a la familia exponencial, entonces existe un conjugado anterior, a menudo también en la familia exponencial; ver Familia exponencial: Distribuciones conjugadas.
Cuando la función de verosimilitud es una distribución discreta
Probabilidad | Parámetros del modelo | Distribución previa conjugada | Hiperparámetros previos | Hiperparámetros posteriores | Interpretación de hiperparámetros | predictivo posterior |
---|---|---|---|---|---|---|
Bernoulli | p (probabilidad) | Beta | éxitos, fracasos | |||
Binomio | p (probabilidad) | Beta | éxitos, fracasos | (beta-binomial) | ||
Binomial negativocon número de falla conocido, r | p (probabilidad) | Beta | total de éxitos, fracasos (es decir, experimentos, asumiendo que permanece fijo) | (binomial beta-negativo) | ||
veneno | λ (tasa) | Gama | ocurrencias totales en intervalos | (binomial negativo) | ||
ocurrencias totales en intervalos | (binomial negativo) | |||||
Categórico | p (vector de probabilidad), k (número de categorías; es decir, tamaño de p) | Dirichlet | donde está el número de observaciones en la categoría i | ocurrencias de categoria | ||
multinomial | p (vector de probabilidad), k (número de categorías; es decir, tamaño de p) | Dirichlet | ocurrencias de categoria | (Dirichlet-multinomial) | ||
Hipergeométricocon tamaño de población total conocido, N | M (número de miembros objetivo) | Beta-binomial | éxitos, fracasos | |||
Geométrico | p 0 (probabilidad) | Beta | experimentos, fracasos totales |
Cuando la función de verosimilitud es una distribución continua
Probabilidad | Parámetros del modelo | Distribución previa conjugada | Hiperparámetros previos | Hiperparámetros posteriores | Interpretación de hiperparámetros | predictivo posterior |
---|---|---|---|---|---|---|
Normalcon varianza conocida σ | μ (media) | Normal | la media se estimó a partir de observaciones con precisión total (suma de todas las precisiones individuales) y con media muestral | |||
Normalcon precisión conocida τ | μ (media) | Normal | la media se estimó a partir de observaciones con precisión total (suma de todas las precisiones individuales) y con media muestral | |||
Normalcon media conocida μ | σ (varianza) | gama inversa | la varianza se estimó a partir de observaciones con varianza muestral (es decir, con la suma de las desviaciones al cuadrado , donde las desviaciones son de la media conocida ) | |||
Normalcon media conocida μ | σ (varianza) | Chi-cuadrado inverso escalado | la varianza se estimó a partir de observaciones con varianza muestral | |||
Normalcon media conocida μ | τ (precisión) | Gama | la precisión se estimó a partir de las observaciones con la varianza de la muestra (es decir, con la suma de las desviaciones al cuadrado , donde las desviaciones son de la media conocida ) | |||
Normal | μ y σSuponiendo intercambiabilidad | gamma normal-inversa | es la media de la muestra | la media se estimó a partir de observaciones con media muestral ; la varianza se estimó a partir de las observaciones con la media muestral y la suma de las desviaciones al cuadrado | ||
Normal | μ y τSuponiendo intercambiabilidad | Normal-gamma | es la media de la muestra | la media se estimó a partir de las observaciones con la media muestral , y la precisión se estimó a partir de las observaciones con la media muestral y la suma de las desviaciones al cuadrado | ||
Normal multivariado con matriz de covarianza conocida Σ | μ (vector medio) | Normal multivariante | es la media de la muestra | la media se estimó a partir de observaciones con precisión total (suma de todas las precisiones individuales) y con media muestral | ||
Normal multivariante con matriz de precisión conocida Λ | μ (vector medio) | Normal multivariante | es la media de la muestra | la media se estimó a partir de observaciones con precisión total (suma de todas las precisiones individuales) y con media muestral | ||
Normal multivariado con media conocida μ | Σ (matriz de covarianza) | Wishart inversa | la matriz de covarianza se estimó a partir de las observaciones con la suma de los productos de desviación por pares | |||
Normal multivariado con media conocida μ | Λ (matriz de precisión) | Deseos | la matriz de covarianza se estimó a partir de las observaciones con la suma de los productos de desviación por pares | |||
Normal multivariante | μ (vector medio) y Σ (matriz de covarianza) | normal-inverso-de Wishart | es la media de la muestra | la media se estimó a partir de observaciones con media muestral ; la matriz de covarianza se estimó a partir de las observaciones con la media de la muestra y con la suma de los productos de desviación por pares | ||
Normal multivariante | μ (vector medio) y Λ (matriz de precisión) | normal-Wishart | es la media de la muestra | la media se estimó a partir de observaciones con media muestral ; la matriz de covarianza se estimó a partir de las observaciones con la media de la muestra y con la suma de los productos de desviación por pares | ||
Uniforme | Pareto | observaciones con valor máximo | ||||
Paretocon mínimo conocido x m | k (forma) | Gama | observaciones con la suma del orden de magnitud de cada observación (es decir, el logaritmo de la relación de cada observación al mínimo ) | |||
Weibullcon forma conocida β | θ (escala) | gama inversa | observaciones con suma de la β'- ésima potencia de cada observación | |||
Log-normal | Lo mismo que para la distribución normal después de aplicar el logaritmo natural a los datos de los hiperparámetros posteriores. Consulte Fink (1997, págs. 21 y 22) para ver los detalles. | |||||
Exponencial | λ (tasa) | Gama | observaciones que suman | (Distribución Lomax) | ||
Gammacon forma conocida α | β (tasa) | Gama | observaciones con suma | |||
Gamma inversacon forma conocida α | β (escala inversa) | Gama | observaciones con suma | |||
Gammacon tasa conocida β | α (forma) | u observaciones (para estimar , para estimar ) con producto | ||||
Gama | α (forma), β (escala inversa) | se estimó a partir de observaciones con producto ; se estimó a partir de observaciones con suma | ||||
Beta | α, β | y se estimaron a partir de observaciones con producto y producto de los complementos |
Contenido relacionado
Distribución t de Student
Serie de tiempo
Teoría de colas