Independencia condicional

En la teoría de la probabilidad, la independencia condicional describe situaciones en las que una observación es irrelevante o redundante al evaluar la certeza de una hipótesis. La independencia condicional generalmente se formula en términos de probabilidad condicional, como un caso especial donde la probabilidad de la hipótesis dada la observación no informativa es igual a la probabilidad sin ella. Si es la hipótesis, y y son observaciones, la independencia condicional se puede establecer como una igualdad:

donde es la probabilidad de dados ambos y . Dado que la probabilidad de dado es la misma que la probabilidad de dados ambos y , esta igualdad expresa que no contribuye en nada a la certeza de . En este caso, y se dice que son condicionalmente independientes dados , escritos simbólicamente como: .

El concepto de independencia condicional es esencial para las teorías de inferencia estadística basadas en gráficos, ya que establece una relación matemática entre una colección de declaraciones condicionales y un grafoide.

Independencia condicional de eventos.

Sean eventos , y . y se dice que son condicionalmente independientes dado si y solo si 0}">y:

Esta propiedad a menudo se escribe: .

De manera equivalente, la independencia condicional se puede establecer como:

donde es la probabilidad conjunta de y dada . Esta formulación alternativa establece que y son eventos independientes, dados .

Prueba de la definición equivalente

iff (definición de probabilidad condicional)iff (multiplica ambos lados por )iff (dividir ambos lados por )iff (definición de probabilidad condicional)

Ejemplos

La discusión sobre StackExchange proporciona un par de ejemplos útiles. Vea abajo.

Cajas de colores

Cada celda representa un resultado posible. Los eventos , y están representados por las áreas sombreadas en rojo, azul y amarillo respectivamente. La superposición entre los eventos y está sombreada de color púrpura.

Las probabilidades de estos eventos son áreas sombreadas con respecto al área total. En ambos ejemplos y son condicionalmente independientes dadas porque:

pero no condicionalmente independiente dado porque:

Clima y retrasos

Sean los dos eventos las probabilidades de que las personas A y B lleguen a casa a tiempo para cenar, y el tercer evento es el hecho de que una tormenta de nieve azote la ciudad. Si bien tanto A como B tienen una menor probabilidad de llegar a casa a tiempo para la cena, las probabilidades más bajas seguirán siendo independientes entre sí. Es decir, el conocimiento de que A llega tarde no te dice si B llegará tarde. (Pueden estar viviendo en diferentes vecindarios, viajando diferentes distancias y usando diferentes modos de transporte). Sin embargo, si tiene información de que viven en el mismo vecindario, usan el mismo transporte y trabajan en el mismo lugar, entonces los dos Los eventos NO son condicionalmente independientes.

Lanzamiento de dados

La independencia condicional depende de la naturaleza del tercer evento. Si lanza dos dados, se puede suponer que los dos dados se comportan de forma independiente. Mirar los resultados de un dado no le informará sobre el resultado del segundo dado. (Es decir, los dos dados son independientes). Sin embargo, si el resultado del primer dado es un 3 y alguien le informa sobre un tercer evento, que la suma de los dos resultados es par, entonces esta unidad adicional de información restringe el opciones para el segundo resultado a un número impar. En otras palabras, dos eventos pueden ser independientes, pero NO condicionalmente independientes.

Altura y vocabulario

La altura y el vocabulario dependen, ya que las personas muy pequeñas tienden a ser niños, conocidos por sus vocabularios más básicos. Pero sabiendo que dos personas tienen 19 años (es decir, condicionado a la edad) no hay razón para pensar que el vocabulario de una persona es mayor si se nos dice que es más alta.

Independencia condicional de variables aleatorias

Dos variables aleatorias y son condicionalmente independientes dada una tercera variable aleatoria discreta si y solo si son independientes en su distribución de probabilidad condicional dada . Es decir, y son condicionalmente independientes dados si y solo si, dado cualquier valor de , la distribución de probabilidad de es la misma para todos los valores de y la distribución de probabilidad de es la misma para todos los valores de . Formalmente:

(Ec.2)

donde es la función de distribución acumulativa condicional de y dada .

Dos eventos y son condicionalmente independientes dada una σ-álgebra si

donde denota la expectativa condicional de la función indicadora del evento , dada el álgebra sigma . Es decir,

Dos variables aleatorias y son condicionalmente independientes dada una σ-álgebra si la ecuación anterior se cumple para todo in y in .

Dos variables aleatorias y son condicionalmente independientes dada una variable aleatoria si son independientes dada σ (W): la σ-álgebra generada por . Esto se escribe comúnmente:o

Esto se lee " es independiente de , dado "; el condicionamiento se aplica a todo el enunciado: "(es independiente de ) dado ".

Si asume un conjunto de valores contables, esto equivale a la independencia condicional de X e Y para los eventos de la forma . La independencia condicional de más de dos eventos, o de más de dos variables aleatorias, se define de manera análoga.

Los siguientes dos ejemplos muestran que ni implica ni está implícito en. Primero, supongamos que es 0 con una probabilidad de 0,5 y 1 en caso contrario. Cuando W = 0 tomar y ser independientes, teniendo cada uno el valor 0 con probabilidad 0.99 y el valor 1 en caso contrario. Cuando, y son nuevamente independientes, pero esta vez toman el valor 1 con probabilidad 0.99. entonces _ Pero y son dependientes, porque Pr(X = 0) < Pr(X = 0| Y = 0). Esto se debe a que Pr(X = 0) = 0,5, pero si Y = 0, es muy probable que W = 0 y, por lo tanto, que X = 0 también, entonces Pr(X = 0| Y = 0) > 0.5. Para el segundo ejemplo, suponga que cada uno toma los valores 0 y 1 con una probabilidad de 0,5. Sea el producto . Entonces cuando , Pr(X = 0) = 2/3, pero Pr(X = 0| Y = 0) = 1/2, entonces es falso. Este es también un ejemplo de Explicación. Vea el tutorial de Kevin Murphy donde y tome los valores "inteligente" y "deportivo".

Independencia condicional de vectores aleatorios

Dos vectores aleatorios y son condicionalmente independientes dado un tercer vector aleatorio si y solo si son independientes en su distribución acumulativa condicional dada . Formalmente:

(Ec.3)

donde , y y las distribuciones acumulativas condicionales se definen de la siguiente manera.

Usos en la inferencia bayesiana

Sea p la proporción de votantes que votarán "sí" en un próximo referéndum. Al realizar una encuesta de opinión, se eligen n votantes al azar de la población. Para i = 1, …, n, sea X _i = 1 ó 0 correspondiente, respectivamente, a si el i -ésimo votante elegido votará o no "sí".

En un enfoque frecuentista de la inferencia estadística, uno no atribuiría ninguna distribución de probabilidad a p (a menos que las probabilidades pudieran interpretarse de alguna manera como frecuencias relativas de ocurrencia de algún evento o como proporciones de alguna población) y uno diría que X ₁, …, X _n son variables aleatorias independientes.

Por el contrario, en un enfoque bayesiano de la inferencia estadística, uno asignaría una distribución de probabilidad a p independientemente de la inexistencia de tal interpretación de "frecuencia", y uno interpretaría las probabilidades como grados de creencia de que p está en cualquier intervalo a que se le asigna una probabilidad. En ese modelo, las variables aleatorias X ₁, …, X _n no son independientes, pero son condicionalmente independientes dado el valor de p. En particular, si se observa que un gran número de X s es igual a 1, eso implicaría una alta probabilidad condicional, dada esa observación, de que pestá cerca de 1 y, por lo tanto, una alta probabilidad condicional, dada esa observación, de que la próxima X que se observe sea igual a 1.

Reglas de independencia condicional

De la definición básica se deriva un conjunto de reglas que rigen las declaraciones de independencia condicional.

Estas reglas fueron denominadas "Axiomas de grafoides" por Pearl y Paz, porque se cumplen en grafos, donde se interpreta que significa: "Todos los caminos de X a A son interceptados por el conjunto B ".

Simetría

Descomposición

Prueba

• (significado de )
• (ignore la variable B integrándola)
• 

Una prueba similar muestra la independencia de X y B.

Unión débil

Prueba

• Por suposición, .
• Debido a la propiedad de descomposición , .
• La combinación de las dos igualdades anteriores da , lo que establece .

La segunda condición se puede probar de manera similar.

Contracción

Prueba

Esta propiedad se puede probar observando , cada una de las cuales se afirma mediante y , respectivamente.

Intersección

Para distribuciones de probabilidad estrictamente positivas, también se cumple lo siguiente:

Prueba

Por suposición:

Usando esta igualdad, junto con la Ley de probabilidad total aplicada a :

Dado que y , se sigue que .

Nota técnica: dado que estas implicaciones son válidas para cualquier espacio de probabilidad, seguirán siendo válidas si se considera un subuniverso condicionando todo a otra variable, digamos K. Por ejemplo, también significaría que .