Independencia (probabilidades)

Compartir Imprimir Citar

La independencia es una noción fundamental en la teoría de la probabilidad, como en la estadística y la teoría de los procesos estocásticos.

Dos eventos son independientes, estadísticamente independientes o estocásticamente independientes si, informalmente hablando, la ocurrencia de uno no afecta la probabilidad de ocurrencia del otro (equivalentemente, no afecta las probabilidades). De manera similar, dos variables aleatorias son independientes si la realización de una no afecta la distribución de probabilidad de la otra.

Cuando se trata de colecciones de más de dos eventos, es necesario distinguir dos nociones de independencia. Los eventos se denominan independientes por pares si dos eventos cualesquiera de la colección son independientes entre sí, mientras que la independencia mutua (o independencia colectiva) de los eventos significa, informalmente hablando, que cada evento es independiente de cualquier combinación de otros eventos de la colección. Existe una noción similar para las colecciones de variables aleatorias. La independencia mutua implica independencia por parejas, pero no al revés. En la literatura estándar de la teoría de la probabilidad, la estadística y los procesos estocásticos, la independencia sin más calificación generalmente se refiere a la independencia mutua.

Definición

Para eventos

Dos eventos

Dos eventos UNy Bson independientes (a menudo escritos como A perp Bo Aperp !!!perp B) si y solo si su probabilidad conjunta es igual al producto de sus probabilidades:

mathrm{P}(A cap B) = mathrm{P}(A)mathrm{P}(B) (Ec.1)

Indica que dos eventos independientes UNy Btienen elementos comunes en su espacio muestral por lo que no son mutuamente excluyentes (mutuamente excluyentes iff Acap B=emptyset). La razón por la que esto define la independencia se aclara al reescribir con probabilidades condicionales {displaystyle P(Amid B)={frac {P(Acap B)}{P(B)}}}como la probabilidad a la que UNocurre el evento siempre que el evento Bhaya ocurrido o se suponga que ha ocurrido:{displaystyle mathrm {P} (Acap B)=mathrm {P} (A)mathrm {P} (B)iff mathrm {P} (Amid B)={frac { mathrm {P} (Acap B)}{mathrm {P} (B)}}=mathrm {P} (A).}

y de manera similar{displaystyle mathrm {P} (Acap B)=mathrm {P} (A)mathrm {P} (B)iff mathrm {P} (Bmid A)={frac { mathrm {P} (Acap B)}{mathrm {P} (A)}}=mathrm {P} (B).}

Por lo tanto, la ocurrencia de Bno afecta la probabilidad de UN, y viceversa. En otras palabras, UNy Bson independientes entre sí. Aunque las expresiones derivadas pueden parecer más intuitivas, no son la definición preferida, ya que las probabilidades condicionales pueden no estar definidas si { estilo de visualización mathrm {P} (A)}o { estilo de visualización mathrm {P} (B)}son 0. Además, la definición preferida deja claro por simetría que cuando UNes independiente de B, Btambién es independiente de UN.

Probabilidad de registro y contenido de información

Expresado en términos de probabilidad logarítmica, dos eventos son independientes si y solo si la probabilidad logarítmica del evento conjunto es la suma de la probabilidad logarítmica de los eventos individuales:{displaystyle log mathrm {P} (Acap B)=log mathrm {P} (A)+log mathrm {P} (B)}

En la teoría de la información, la probabilidad logarítmica negativa se interpreta como contenido de información y, por lo tanto, dos eventos son independientes si y solo si el contenido de información del evento combinado es igual a la suma del contenido de información de los eventos individuales:{displaystyle mathrm {I} (Acap B)=mathrm {I} (A)+mathrm {I} (B)}

Ver Contenido de la información § Aditividad de eventos independientes para más detalles.

Posibilidades

Expresado en términos de probabilidades, dos eventos son independientes si y solo si la razón de probabilidades de UNy Bes la unidad (1). Análogamente a la probabilidad, esto es equivalente a que las probabilidades condicionales sean iguales a las probabilidades incondicionales:{displaystyle O(Amid B)=O(A){text{ y }}O(Bmid A)=O(B),}

o a las probabilidades de un evento, dado que el otro evento es igual a las probabilidades del evento, dado que el otro evento no ocurre:{displaystyle O(Amid B)=O(Amid neg B){text{ y }}O(Bmid A)=O(Bmid neg A).}

La razón de probabilidades se puede definir como{displaystyle O(Amid B):O(Amid neg B),}

o simétricamente para probabilidades de Bdado UN, y por lo tanto es 1 si y solo si los eventos son independientes.

Más de dos eventos

Un conjunto finito de eventos {displaystyle {A_{i}}_{i=1}^{n}}es independiente por pares si cada par de eventos es independiente, es decir, si y solo si para todos los pares distintos de índices { estilo de visualización m, k},

{displaystyle mathrm {P} (A_{m}cap A_{k})=mathrm {P} (A_{m})mathrm {P} (A_{k})} (Ec.2)

Un conjunto finito de eventos es mutuamente independiente si cada evento es independiente de cualquier intersección de los otros eventos, es decir, si y solo si para todos k leq ny para todos los k índices <img src="https://wikimedia.org/api/rest_v1/media/math/render/svg/44e494884ba0eb739ae1f0b0ba2b64cd4453889a" alt="{displaystyle 1leq i_{1}<dots ,

{displaystyle mathrm {P} left(bigcap _{j=1}^{k}A_{i_{j}}right)=prod_{j=1}^{k}mathrm {P } (A_{i_{j}})} (Ec.3)

Esto se llama la regla de multiplicación para eventos independientes. Tenga en cuenta que no es una condición única que involucra solo el producto de todas las probabilidades de todos los eventos únicos; debe ser cierto para todos los subconjuntos de eventos.

Para más de dos eventos, un conjunto de eventos mutuamente independientes es (por definición) independiente por pares; pero lo contrario no es necesariamente cierto.

Para variables aleatorias de valor real

Dos variables aleatorias

Dos variables aleatorias Xy Yson independientes si y solo si (iff) los elementos del sistema π generado por ellas son independientes; es decir, para todo Xy y, los eventos {displaystyle {Xleq x}}y {displaystyle {Yleq y}}son eventos independientes (como se define arriba en la Ec.1). Es decir, Xy Ycon funciones de distribución acumulativa F_X(x)y F_Y(y), son independientes si y solo si la variable aleatoria combinada (X, Y)tiene una función de distribución acumulativa conjunta

{displaystyle F_{X,Y}(x,y)=F_{X}(x)F_{Y}(y)quad {text{para todos}}x,y} (Ec.4)

o de manera equivalente, si existen las densidades de probabilidad f_{X}(x)y f_Y(y)la densidad de probabilidad conjunta,f_{{X,Y}}(x,y){displaystyle f_{X,Y}(x,y)=f_{X}(x)f_{Y}(y)quad {text{para todos}}x,y.}

Más de dos variables aleatorias

Un conjunto finito de nortevariables aleatorias {displaystyle {X_{1},ldots,X_{n}}}es independiente por pares si y solo si cada par de variables aleatorias es independiente. Incluso si el conjunto de variables aleatorias es independiente por pares, no es necesariamente independiente entre sí, como se define a continuación.

Un conjunto finito de nortevariables aleatorias {displaystyle {X_{1},ldots,X_{n}}}es mutuamente independiente si, y solo si, para cualquier secuencia de números {displaystyle {x_{1},ldots,x_{n}}}, los eventos {displaystyle {X_{1}leq x_{1}},ldots,{X_{n}leq x_{n}}}son eventos mutuamente independientes (como se define anteriormente en la ecuación 3). Esto es equivalente a la siguiente condición sobre la función de distribución acumulada conjunta {displaystyle F_{X_{1},ldots,X_{n}}(x_{1},ldots,x_{n})}. Un conjunto finito de nortevariables aleatorias {displaystyle {X_{1},ldots,X_{n}}}es mutuamente independiente si y solo si

{displaystyle F_{X_{1},ldots,X_{n}}(x_{1},ldots,x_{n})=F_{X_{1}}(x_{1})cdot ldots cdot F_{X_{n}}(x_{n})quad {text{para todos}}x_{1},ldots,x_{n}} (Ec.5)

Observe que aquí no es necesario exigir que la distribución de probabilidad se factorice para todos los subconjuntos de elementos posibles kcomo en el caso de los norteeventos. Esto no es necesario porque, por ejemplo, {displaystyle F_{X_{1},X_{2},X_{3}}(x_{1},x_{2},x_{3})=F_{X_{1}}(x_{1}) cdot F_{X_{2}}(x_{2})cdot F_{X_{3}}(x_{3})}implica {displaystyle F_{X_{1},X_{3}}(x_{1},x_{3})=F_{X_{1}}(x_{1})cdot F_{X_{3}}(x_{3})}.

Los inclinados a la teoría de la medida pueden preferir sustituir eventos { estilo de visualización {X en A }}por eventos {Xleq x}en la definición anterior, donde UNes cualquier conjunto de Borel. Esa definición es exactamente equivalente a la anterior cuando los valores de las variables aleatorias son números reales. Tiene la ventaja de trabajar también para variables aleatorias de valor complejo o para variables aleatorias que toman valores en cualquier espacio medible (que incluye espacios topológicos dotados de σ-álgebras apropiadas).

Para vectores aleatorios de valor real

Dos vectores aleatorios {displaystyle mathbf {X} =(X_{1},ldots,X_{m})^{mathrm {T} }}y {displaystyle mathbf {Y} =(Y_{1},ldots,Y_{n})^{mathrm {T} }}se llaman independientes si

{displaystyle F_{mathbf {X,Y} }(mathbf {x,y})=F_{mathbf {X} }(mathbf {x})cdot F_{mathbf {Y} }( mathbf {y})quad {text{para todos}}mathbf {x},mathbf {y} } (Ec.6)

donde {displaystyle F_{mathbf {X} }(mathbf {x})}y {displaystyle F_{mathbf {Y} }(mathbf {y})}denota las funciones de distribución acumulativa de mathbf{X}y mathbf{Y}y {displaystyle F_{mathbf {X,Y} }(mathbf {x,y})}denota su función de distribución acumulativa conjunta. La independencia de mathbf{X}y mathbf{Y}a menudo se denota por {displaystyle mathbf {X} perp !!!perp mathbf {Y} }. Se escriben por componentes mathbf{X}y mathbf{Y}se denominan independientes si{displaystyle F_{X_{1},ldots,X_{m},Y_{1},ldots,Y_{n}}(x_{1},ldots,x_{m},y_{1}, ldots,y_{n})=F_{X_{1},ldots,X_{m}}(x_{1},ldots,x_{m})cdot F_{Y_{1},ldots, Y_{n}}(y_{1},ldots, y_{n})quad {text{para todos}}x_{1},ldots,x_{m},y_{1},ldots, y_{n}.}

Para procesos estocásticos

Para un proceso estocástico

La definición de independencia puede extenderse de vectores aleatorios a un proceso estocástico. Por lo tanto, se requiere para un proceso estocástico independiente que las variables aleatorias obtenidas al muestrear el proceso en cualquier nortemomento t_{1},ldots,t_{n}sean variables aleatorias independientes para cualquier norte.

Formalmente, un proceso estocástico {displaystyle left{X_{t}right}_{tin {mathcal {T}}}}se llama independiente, si y sólo si para todos nen mathbb{N}y para todos{displaystyle t_{1},ldots,t_{n}in {mathcal {T}}}

{displaystyle F_{X_{t_{1}},ldots,X_{t_{n}}}(x_{1},ldots,x_{n})=F_{X_{t_{1}}}(x_{1})cdot ldots cdot F_{X_{t_{n}}}(x_{n})quad {text{para todos}}x_{1},ldots,x_{n}} (Ec.7)

donde {displaystyle F_{X_{t_{1}},ldots,X_{t_{n}}}(x_{1},ldots,x_{n})=mathrm {P} (X(t_{1) })leq x_{1},ldots,X(t_{n})leq x_{n})}_ La independencia de un proceso estocástico es una propiedad dentro de un proceso estocástico, no entre dos procesos estocásticos.

Para dos procesos estocásticos

La independencia de dos procesos estocásticos es una propiedad entre dos procesos estocásticos {displaystyle left{X_{t}right}_{tin {mathcal {T}}}}y {displaystyle left{Y_{t}right}_{tin {mathcal {T}}}}que están definidos sobre el mismo espacio de probabilidad (Omega,{mathcal {F}},P). Formalmente, dos procesos estocásticos {displaystyle left{X_{t}right}_{tin {mathcal {T}}}}y {displaystyle left{Y_{t}right}_{tin {mathcal {T}}}}se dice que son independientes si para todos nen mathbb{N}y para todos {displaystyle t_{1},ldots,t_{n}in {mathcal {T}}}, los vectores aleatorios { estilo de visualización (X (t_ {1}), ldots, X (t_ {n}))}y { estilo de visualización (Y (t_ {1}), ldots, Y (t_ {n}))}son independientes, es decir, si

{displaystyle F_{X_{t_{1}},ldots,X_{t_{n}},Y_{t_{1}},ldots,Y_{t_{n}}}(x_{1}, ldots,x_{n},y_{1},ldots,y_{n})=F_{X_{t_{1}},ldots,X_{t_{n}}}(x_{1},ldots,x_{n})cdot F_{Y_{t_{1}},ldots,Y_{t_{n}}}(y_{1},ldots,y_{n})quad {text{para todos }}x_{1},ldots,x_{n}} (Ec.8)

σ-álgebras independientes

Las definiciones anteriores (Eq.1 y Eq.2) se generalizan mediante la siguiente definición de independencia para σ-álgebras. Sea {displaystyle (Omega,Sigma,mathrm {P})}un espacio de probabilidad y sean { matemáticas {A}}y { matemáticas {B}}dos sub-σ-álgebras de Sigma. { matemáticas {A}}y { matemáticas {B}}se dice que son independientes si, siempre que Ain {mathcal {A}}y Bin {mathcal {B}},mathrm{P}(A cap B) = mathrm{P}(A) mathrm{P}(B).

Asimismo, una familia finita de σ-álgebras (tau_i)_{iin I}, donde yoes un conjunto índice, se dice que es independiente si y solo siforall left(A_iright)_{iin I} in prodnolimits_{iin I}tau_i : mathrm{P}left(bigcapnolimits_{iin I }A_iright) = prodnolimits_{iin I}mathrm{P}left(A_iright)

y se dice que una familia infinita de σ-álgebras es independiente si todas sus subfamilias finitas son independientes.

La nueva definición se relaciona muy directamente con las anteriores:

  • Dos eventos son independientes (en el sentido antiguo) si y solo si las σ-álgebras que generan son independientes (en el nuevo sentido). El σ-álgebra generada por un evento E en Sigmaes, por definición,

sigma ({E})={emptyset,E,Omega setminus E,Omega }.

  • Dos variables aleatorias Xy Ydefinidas sobre Omegason independientes (en el sentido antiguo) si y solo si las σ-álgebras que generan son independientes (en el nuevo sentido). El σ-álgebra generada por una variable aleatoria que Xtoma valores en algún espacio medible Sconsiste, por definición, en todos los subconjuntos de Omegala forma { estilo de visualización X ^ {-1} (U)}, donde tues cualquier subconjunto medible de S.

Usando esta definición, es fácil mostrar que si Xy Yson variables aleatorias y Yes constante, entonces Xy Yson independientes, ya que la σ-álgebra generada por una variable aleatoria constante es la σ-álgebra trivial {displaystyle {varnada,Omega }}. Los eventos de probabilidad cero no pueden afectar la independencia, por lo que la independencia también se cumple si Yes solo Pr, casi seguramente constante.

Propiedades

Auto-independencia

Tenga en cuenta que un evento es independiente de sí mismo si y sólo si{displaystyle mathrm {P} (A)=mathrm {P} (Acap A)=mathrm {P} (A)cdot mathrm {P} (A)iff mathrm {P} (A)=0{text{ o }}mathrm {P} (A)=1.}

Así, un evento es independiente de sí mismo si y sólo si ocurre casi con certeza o casi con certeza ocurre su complemento; este hecho es útil cuando se prueban las leyes cero-uno.

Expectativa y covarianza

Si Xy Yson variables aleatorias independientes, entonces el operador de expectativa nombre del operador {E}tiene la propiedad{ estilo de visualización nombre del operador {E} [XY] = nombre del operador {E} [X] nombre del operador {E} [Y],}

y la covarianza { estilo de visualización nombre del operador {cov} [X, Y]}es cero, como sigue de{displaystyle operatorname {cov} [X,Y]=operatorname {E} [XY]-operatorname {E} [X]operatorname {E} [Y].}

Lo contrario no se cumple: si dos variables aleatorias tienen una covarianza de 0, es posible que aún no sean independientes. Véase no correlacionado.

De manera similar para dos procesos estocásticos {displaystyle left{X_{t}right}_{tin {mathcal {T}}}}y {displaystyle left{Y_{t}right}_{tin {mathcal {T}}}}: si son independientes, entonces no están correlacionados.

Función característica

Dos variables aleatorias Xy Yson independientes si y solo si la función característica del vector aleatorio (X, Y)satisface{displaystyle varphi _{(X,Y)}(t,s)=varphi _{X}(t)cdot varphi _{Y}(s).}

En particular, la función característica de su suma es el producto de sus funciones marginales características:varphi_{X+Y}(t) = varphi_X(t)cdotvarphi_Y(t),

aunque la implicación inversa no es cierta. Las variables aleatorias que satisfacen la última condición se denominan subindependientes.

Ejemplos

Dados rodantes

El evento de obtener un 6 la primera vez que se lanza un dado y el evento de obtener un 6 la segunda vez son independientes. Por el contrario, el evento de obtener un 6 la primera vez que se lanza un dado y el evento de que la suma de los números vistos en el primer y segundo intento sea 8 no son independientes.

Tarjetas de dibujo

Si se sacan dos cartas con reemplazo de una baraja de cartas, el evento de sacar una tarjeta roja en el primer intento y el de sacar una tarjeta roja en el segundo intento son independientes. Por el contrario, si se sacan dos cartas sin reemplazo de una baraja de cartas, el hecho de sacar una carta roja en el primer intento y el de sacar una carta roja en el segundo intento no son independientes, porque una baraja que ha tenido una carta roja tarjeta extraída tiene proporcionalmente menos tarjetas rojas.

Parejas e independencia mutua

Considere los dos espacios de probabilidad que se muestran. En ambos casos, {displaystyle mathrm {P} (A)=mathrm {P} (B)=1/2}y {displaystyle mathrm {P} (C)=1/4}. Las variables aleatorias en el primer espacio son independientes por pares porque {displaystyle mathrm {P} (A|B)=mathrm {P} (A|C)=1/2=mathrm {P} (A)}, {displaystyle mathrm {P} (B|A)=mathrm {P} (B|C)=1/2=mathrm {P} (B)}y {displaystyle mathrm {P} (C|A)=mathrm {P} (C|B)=1/4=mathrm {P} (C)}; pero las tres variables aleatorias no son mutuamente independientes. Las variables aleatorias en el segundo espacio son independientes por pares y mutuamente independientes. Para ilustrar la diferencia, considere el condicionamiento en dos eventos. En el caso independiente por pares, aunque cualquier evento es independiente de cada uno de los otros dos individualmente, no es independiente de la intersección de los otros dos:mathrm{P}(A|BC) = frac{frac{4}{40}}{frac{4}{40} + frac{1}{40}} = tfrac{4}{5 } ne mathrm{P}(A)mathrm{P}(B|AC) = frac{frac{4}{40}}{frac{4}{40} + frac{1}{40}} = tfrac{4}{5 } ne mathrm{P}(B)mathrm{P}(C|AB) = frac{frac{4}{40}}{frac{4}{40} + frac{6}{40}} = tfrac{2}{5 } ne mathrm{P}(C)

Sin embargo, en el caso de independencia mutua,mathrm{P}(A|BC) = frac{frac{1}{16}}{frac{1}{16} + frac{1}{16}} = tfrac{1}{2 } = mathrm{P}(A)mathrm{P}(B|AC) = frac{frac{1}{16}}{frac{1}{16} + frac{1}{16}} = tfrac{1}{2 } = mathrm{P}(B)mathrm{P}(C|AB) = frac{frac{1}{16}}{frac{1}{16} + frac{3}{16}} = tfrac{1}{4 } = mathrm{P}(C)

Triple independencia pero no independencia por pares

Es posible crear un ejemplo de tres eventos en el quemathrm{P}(A cap B cap C) = mathrm{P}(A)mathrm{P}(B)mathrm{P}(C),

y, sin embargo, dos de los tres eventos no son independientes por pares (y, por lo tanto, el conjunto de eventos no son mutuamente independientes). Este ejemplo muestra que la independencia mutua implica requisitos sobre los productos de probabilidades de todas las combinaciones de eventos, no solo los eventos individuales como en este ejemplo.

Independencia condicional

Para eventos

Los eventos UNy Bson condicionalmente independientes dado un evento Ccuando

{displaystyle mathrm {P} (Acap Bmid C)=mathrm {P} (Amid C)cdot mathrm {P} (Bmid C)}.

Para variables aleatorias

Intuitivamente, dos variables aleatorias Xy Yson condicionalmente independientes dado Zsi, una vez Zconocido, el valor de Yno añade ninguna información adicional sobre X. Por ejemplo, dos medidas Xy Yde la misma cantidad subyacente Zno son independientes, pero son condicionalmente independientes dadas Z (a menos que los errores en las dos medidas estén conectados de alguna manera).

La definición formal de independencia condicional se basa en la idea de distribuciones condicionales. Si X, Y, y Zson variables aleatorias discretas, entonces definimos Xy Yser condicionalmente independientes dado Z simathrm{P}(X le x, Y le y;|;Z = z) = mathrm{P}(X le x;|;Z = z) cdot mathrm{P }(Y le y;|;Z = z)

para todos X, yy ztal que 0}">. Por otro lado, si las variables aleatorias son continuas y tienen una función de densidad de probabilidad conjunta { Displaystyle f_ {XYZ} (x, y, z)}, entonces Xy Yson condicionalmente independientes dado Zsi{displaystyle f_{XY|Z}(x,y|z)=f_{X|Z}(x|z)cdot f_{Y|Z}(y|z)}

para todos los números reales X, yy ztal que 0}">.

Si son discretos Xy Yson condicionalmente independientes dados Z, entoncesmathrm{P}(X = x | Y = y, Z = z) = mathrm{P}(X = x | Z = z)

para cualquier X, yy zcon 0}">. Es decir, la distribución condicional para Xdada Yy Zes la misma que la dada Zsola. Una ecuación similar se cumple para las funciones de densidad de probabilidad condicional en el caso continuo.

La independencia puede verse como un tipo especial de independencia condicional, ya que la probabilidad puede verse como un tipo de probabilidad condicional sin eventos.