El teorema de De Finetti

En la teoría de la probabilidad, el teorema de De Finetti establece que las observaciones intercambiables son condicionalmente independientes en relación con alguna variable latente. Entonces podría asignarse una distribución de probabilidad epistémica a esta variable. Recibe su nombre en honor a Bruno de Finetti.

Para el caso especial de una secuencia intercambiable de variables aleatorias de Bernoulli, establece que tal secuencia es una "mezcla" de secuencias de variables aleatorias de Bernoulli independientes e idénticamente distribuidas (i.i.d.).

Una secuencia de variables aleatorias se denomina intercambiable si la distribución conjunta de la secuencia no cambia por ninguna permutación de los índices. Si bien las variables de la secuencia intercambiable no son en sí mismas independientes, solo intercambiables, hay una familia subyacente de i.i.d. variables aleatorias. Es decir, hay cantidades subyacentes, generalmente no observables, que son i.i.d. – las secuencias intercambiables son mezclas de i.i.d. secuencias.

Antecedentes

Un estadístico bayesiano a menudo busca la distribución de probabilidad condicional de una cantidad aleatoria dados los datos. El concepto de intercambiabilidad fue introducido por De Finetti. El teorema de De Finetti explica una relación matemática entre independencia e intercambiabilidad.

Una secuencia infinita

X1,X2,X3,...... {displaystyle X_{1},X_{2},X_{3},dots }

de variables aleatorias se dice que es intercambiable si para cualquier número natural n y cualquier secuencia finita i₁,..., i_n y cualquier permutación de la secuencia π:{i₁,..., i_n } → {i₁,..., i_n },

()Xi1,...... ,Xin)y()Xπ π ()i1),...... ,Xπ π ()in)){displaystyle (X_{i_{1}},dotsX_{i_{n}){text{ and }}(X_{pi (i_{1})}},dotsX_{pi (i_{n})}}}}}}}}}}}}}

ambos tienen la misma distribución de probabilidad conjunta.

Si una secuencia distribuida idénticamente es independiente, entonces la secuencia es intercambiable; sin embargo, lo contrario es falso: existen variables aleatorias intercambiables que no son estadísticamente independientes, por ejemplo, el modelo de urna de Pólya.

Enunciado del teorema

Una variable aleatoria X tiene una distribución de Bernoulli si Pr(X = 1) = p y Pr(X = 0) = 1 − p para algún p ∈ (0, 1).

El teorema de De Finetti establece que la distribución de probabilidad de cualquier secuencia intercambiable infinita de variables aleatorias de Bernoulli es una 'mezcla'. de las distribuciones de probabilidad de secuencias independientes e idénticamente distribuidas de variables aleatorias de Bernoulli. 'Mezcla', en este sentido, significa un promedio ponderado, pero esto no tiene por qué significar un promedio ponderado finito o contablemente infinito (es decir, discreto): puede ser una integral en lugar de una suma.

Más precisamente, suponga X₁, X₂, X₃,... es una secuencia intercambiable infinita de variables aleatorias distribuidas por Bernoulli. Entonces hay alguna distribución de probabilidad m en el intervalo [0, 1] y alguna variable aleatoria Y tal que

• Distribución de probabilidad Y es m, y
• La distribución de probabilidad condicional de toda la secuencia X₁, X₂, X₃,... dado el valor de Y se describe diciendo que
  • X₁, X₂, X₃,... son condicionalmente independientes dado Y, y
  • Para cualquier i # La probabilidad condicional de que X_i = 1, dado el valor Y, es Y.

Otra forma de enunciar el teorema

Suppose X1,X2,X3,...... {displaystyle X_{1},X_{2},X_{3},ldots es una secuencia infinita intercambiable de variables aleatorias Bernoulli. Entonces... X1,X2,X3,...... {displaystyle X_{1},X_{2},X_{3},ldots son condicionalmente independientes y distribuidos idénticamente dado el sigma-algebra intercambiable (es decir, el sigma-algebra consistente en eventos que son mensurables con respecto a X1,X2,...... {displaystyle X_{1},X_{2},ldots } e invariante bajo permutaciones finitas de los índices).

Ejemplo

Aquí hay un ejemplo concreto. Construimos una secuencia

X1,X2,X3,...... {displaystyle X_{1},X_{2},X_{3},dots }

de variables aleatorias, "mezclando" dos i.i.d. secuencias de la siguiente manera.

Suponemos p = 2/3 con probabilidad 1/2 y p = 9/10 con probabilidad 1/2. Dado el evento p = 2/3, la distribución condicional de la secuencia es que las X_i son independientes e idénticamente distribuidas y X₁ = 1 con probabilidad 2/3 y X₁ = 0 con probabilidad 1 − 2/3. Dado el evento p = 9/10, la distribución condicional de la secuencia es que las X_i son independientes e idénticamente distribuidas y X₁ = 1 con probabilidad 9/10 y X₁ = 0 con probabilidad 1 − 9/10.

Esto se puede interpretar de la siguiente manera: haga dos monedas sesgadas, una que muestre "caras" con 2/3 de probabilidad y uno mostrando "cara" con 9/10 de probabilidad. Lance una moneda justa una vez para decidir qué moneda sesgada usar para todos los lanzamientos registrados. Aquí "cabezas" al voltear i significa X_i=1.

La independencia afirmada aquí es independencia condicional, es decir, las variables aleatorias de Bernoulli en la secuencia son condicionalmente independientes dado el evento de que p = 2/3, y son condicionalmente independientes dado el evento que p = 9/10. Pero no son incondicionalmente independientes; están correlacionados positivamente.

En vista de la ley fuerte de los grandes números, podemos decir que

limn→ → JUEGO JUEGO X1+⋯ ⋯ +Xnn={}2/3con probabilidad1/2,9/10con probabilidad1/2.{displaystyle lim _{nrightarrow infty}{frac {X_{1}+cdots +X_{n}{n}={begin{cases}2/3 }1/2,9/10 }1/2.

En lugar de concentrar la probabilidad 1/2 en cada uno de los dos puntos entre 0 y 1, la "distribución mixta" puede ser cualquier distribución de probabilidad soportada en el intervalo de 0 a 1; cuál es depende de la distribución conjunta de la secuencia infinita de variables aleatorias de Bernoulli.

La definición de intercambiabilidad y el enunciado del teorema también tienen sentido para secuencias de longitud finita

X1,...... ,Xn,{displaystyle X_{1},dots X_{n},}

pero el teorema generalmente no es cierto en ese caso. Es cierto si la secuencia se puede extender a una secuencia intercambiable que es infinitamente larga. El ejemplo más simple de una secuencia intercambiable de variables aleatorias de Bernoulli que no puede extenderse tanto es aquella en la que X₁ = 1 − X₂ y X₁ es 0 o 1, cada uno con probabilidad 1/2. Esta secuencia es intercambiable, pero no puede extenderse a una secuencia intercambiable de longitud 3, y mucho menos a una infinitamente larga.

Extensiones

Las versiones del teorema de De Finetti para secuencias intercambiables finitas y para secuencias intercambiables de Markov han sido probadas por Diaconis y Freedman y por Kerns y Szekely. Dos nociones de intercambiabilidad parcial de matrices, conocidas como intercambiabilidad separada y intercambiabilidad conjunta conducen a extensiones del teorema de De Finetti para matrices de Aldous y Hoover.

El teorema computable de De Finetti muestra que si un programa de computadora proporciona una secuencia intercambiable de variables aleatorias reales, entonces un programa que toma muestras de la medida de mezcla se puede recuperar automáticamente.

En el marco de la probabilidad libre, hay una extensión no conmutativa del teorema de De Finetti que caracteriza las secuencias no conmutativas invariantes bajo permutaciones cuánticas.

Se ha descubierto que las extensiones del teorema de De Finetti a los estados cuánticos son útiles en la información cuántica, en temas como la distribución de claves cuánticas y la detección de entrelazamiento.