Matriz estocástica

En matemáticas, una matriz estocástica es una matriz cuadrada utilizada para describir las transiciones de una cadena de Markov. Cada una de sus entradas es un número real no negativo que representa una probabilidad. También se denomina matriz de probabilidad, matriz de transición, matriz de sustitución o matriz de Markov. La matriz estocástica fue desarrollada por primera vez por Andrey Markov a principios del siglo XX y ha encontrado uso en una amplia variedad de campos científicos, incluida la teoría de la probabilidad, la estadística, las finanzas matemáticas y el álgebra lineal, así como la informática y la genética de poblaciones. Hay varias definiciones y tipos diferentes de matrices estocásticas:

A matriz estocástica derecha es una matriz cuadrada real, con cada fila resumiendo a 1.

A matriz estocástica izquierda es una matriz cuadrada real, con cada columna resumiendo a 1.

A doble matriz estocástica es una matriz cuadrada de números reales no negativos con cada fila y columna resumiendo a 1.

En la misma vena, se puede definir una vector estocástico (también llamado vector de probabilidad) como un vector cuyos elementos son números reales no negativos que suma a 1. Así, cada fila de una matriz estocástica derecha (o columna de una matriz estocástica izquierda) es un vector estocástico. Una convención común en la literatura de matemáticas en inglés es utilizar vectores de fila de probabilidades y matrices estocásticas derechas en lugar de vectores de columna de probabilidades y matrices estocásticas izquierdas; este artículo sigue esa convención. Además, a matriz substocástica es una matriz cuadrada real cuyas sumas de fila son todas ≤ ≤ 1.{displaystyle leq 1.}

Historia

Andrey Markov en 1886

La matriz estocástica fue desarrollada junto con la cadena de Markov por Andrey Markov, un matemático ruso y profesor de la Universidad de San Petersburgo que publicó por primera vez sobre el tema en 1906. Sus usos iniciales previstos eran para el análisis lingüístico y otros temas matemáticos como el barajado de cartas., pero tanto las cadenas como las matrices de Markov encontraron uso rápidamente en otros campos.

Académicos como Andrey Kolmogorov, que ampliaron sus posibilidades al permitir procesos de Markov de tiempo continuo, desarrollaron aún más las matrices estocásticas. En la década de 1950, habían aparecido artículos que utilizaban matrices estocásticas en los campos de la econometría y la teoría de circuitos. En la década de 1960, las matrices estocásticas aparecieron en una variedad aún más amplia de trabajos científicos, desde la ciencia del comportamiento hasta la geología y la planificación residencial. Además, también se realizó mucho trabajo matemático a lo largo de estas décadas para mejorar la gama de usos y la funcionalidad de la matriz estocástica y los procesos markovianos en general.

Desde la década de 1970 hasta la actualidad, las matrices estocásticas han encontrado uso en casi todos los campos que requieren un análisis formal, desde la ciencia estructural hasta el diagnóstico médico y la gestión de personal. Además, las matrices estocásticas han encontrado un amplio uso en el modelado de cambio de suelo, generalmente bajo el término matriz de Markov.

Definición y propiedades

Una matriz estocástica describe una cadena de Markov X_t sobre un espacio de estado finito S con cardinalidad α.

Si la probabilidad de pasar de i a j en un paso de tiempo es Pr(j|i) = P _i,j, la matriz estocástica P se obtiene usando P_i,j como la i-ésima fila y j-ésimo elemento de columna, por ejemplo,

P=[P1,1P1,2...... P1,j...... P1,α α P2,1P2,2...... P2,j...... P2,α α ⋮ ⋮ ⋮ ⋮ ⋱ ⋱ ⋮ ⋮ ⋱ ⋱ ⋮ ⋮ Pi,1Pi,2...... Pi,j...... Pi,α α ⋮ ⋮ ⋮ ⋮ ⋱ ⋱ ⋮ ⋮ ⋱ ⋱ ⋮ ⋮ Pα α ,1Pα α ,2...... Pα α ,j...... Pα α ,α α ].{displaystyle P=left[{begin{matrix}P_{1,1} limitP_{1,2} > > > }P_{2,1} {2,2}dots > {2,j} {dots > {2,alpha }vdots >vdots > 'vdots &ddots &vdots \P_{i,1} limite_{i,2} limitesdots > p_{i,j} limites > p_{i,alpha \P_{alpha1} {alpha2} {dots > {alphaj} âdots > {alphaalpha }end{matrix}}right].

Dado que el total de probabilidad de transición de un estado i a todos los demás estados debe ser 1,

.. j=1α α Pi,j=1;{displaystyle sum _{j=1}{alpha }P_{i,j}=1;,}

por lo tanto, esta matriz es una matriz estocástica derecha.

La suma por elementos anterior en cada fila i de P puede escribirse de manera más concisa como P1 = 1, donde 1 es el α -vector columna dimensional de todos unos. Usando esto, se puede ver que el producto de dos matrices estocásticas derechas P′ y P'' también es estocástico derecho: P′ P′′ 1 = P′ (P′′ 1) = P′ 1 = 1. En general, la k-ésima potencia P^k de una matriz estocástica derecha P también es estocástica derecha. La probabilidad de pasar de i a j en dos pasos viene dado por el (i, j)-ésimo elemento del cuadrado de P:

()P2)i,j.{displaystyle left(P^{2}right)_{i, J}

En general, la probabilidad de transición de pasar de cualquier estado a otro estado en una cadena de Markov finita dada por la matriz P en k pasos viene dado por P^k.

Una distribución de probabilidad inicial de estados, que especifica dónde podría estar inicialmente el sistema y con qué probabilidades, se proporciona como un vector de fila.

Un vector de probabilidad estacionario π se define como una distribución, escrito como vector fila, que no cambia bajo la aplicación de la matriz de transición; es decir, se define como una distribución de probabilidad en el conjunto {1, …, n} que también es un vector propio de fila de la matriz de probabilidad, asociado con el valor propio 1:

π π P=π π .{displaystyle {boldsymbol} }P={boldsymbol {pi}}

Se puede demostrar que el radio espectral de cualquier matriz estocástica es uno. Por el teorema del círculo de Gershgorin, todos los valores propios de una matriz estocástica tienen valores absolutos menores o iguales a uno. Además, cada matriz estocástica derecha tiene un "obvio" vector propio de columna asociado al valor propio 1: el vector 1, cuyas coordenadas son todas iguales a 1 (solo observa que multiplicando una fila de A veces 1 es igual a la suma de las entradas de la fila y, por lo tanto, es igual a 1). Como los valores propios izquierdo y derecho de una matriz cuadrada son iguales, toda matriz estocástica tiene, al menos, un vector propio de fila asociado al valor propio 1 y el valor absoluto más grande de todos sus valores propios también es 1. Finalmente, el teorema del punto fijo de Brouwer (aplicado al conjunto convexo compacto de todas las distribuciones de probabilidad del conjunto finito {1, …, n}) implica que hay un vector propio izquierdo que es también un vector de probabilidad estacionario.

Por otro lado, el teorema de Perron-Frobenius también asegura que cada matriz estocástica irreducible tiene un vector estacionario y que el valor absoluto más grande de un valor propio es siempre 1. Sin embargo, este teorema no se puede aplicar directamente a tales matrices. porque no tienen por qué ser irreducibles.

En general, puede haber varios de estos vectores. Sin embargo, para una matriz con entradas estrictamente positivas (o, más generalmente, para una matriz estocástica aperiódica irreducible), este vector es único y se puede calcular observando que para cualquier i tenemos el siguiente límite,

limk→ → JUEGO JUEGO ()Pk)i,j=π π j,{displaystyle lim _{krightarrow infty }left(P^{k}right)_{i,j}={boldsymbol ♪ }_{j},}

donde π_j es el estilo j-ésimo elemento del vector fila π. Entre otras cosas, esto dice que la probabilidad a largo plazo de estar en un estado j es independiente del estado inicial i. Que ambos cálculos den el mismo vector estacionario es una forma de teorema ergódico, que generalmente es cierto en una amplia variedad de sistemas dinámicos disipativos: el sistema evoluciona, con el tiempo, a un estado estacionario.

Intuitivamente, una matriz estocástica representa una cadena de Markov; la aplicación de la matriz estocástica a una distribución de probabilidad redistribuye la masa de probabilidad de la distribución original conservando su masa total. Si este proceso se aplica repetidamente, la distribución converge a una distribución estacionaria para la cadena de Markov.

Ejemplo: el gato y el ratón

Supongamos que hay un temporizador y una fila de cinco casillas adyacentes. En el tiempo cero, un gato está en el primer cuadro y un ratón en el quinto cuadro. El gato y el ratón saltan a un cuadro adyacente al azar cuando avanza el temporizador. P.ej. si el gato está en el segundo cuadro y el ratón en el cuarto, la probabilidad de que el gato esté en el primer cuadro y el ratón en el quinto después de que avance el cronómetro es un cuarto. Si el gato está en el primer cuadro y el ratón en el quinto, la probabilidad de que el gato esté en el cuadro dos y el ratón en el cuadro cuatro después de que avance el cronómetro es uno. El gato se come al ratón si ambos acaban en la misma caja, momento en el que finaliza el juego. Sea la variable aleatoria K el tiempo que el ratón permanece en el juego.

La cadena de Markov que representa este juego contiene los siguientes cinco estados especificados por la combinación de posiciones (gato, ratón). Tenga en cuenta que, si bien una enumeración ingenua de estados enumeraría 25 estados, muchos son imposibles porque el mouse nunca puede tener un índice más bajo que el gato (lo que significaría que el mouse ocupó la caja del gato y sobrevivió para pasar).), o porque la suma de los dos índices siempre tendrá paridad par. Además, los 3 estados posibles que conducen a la muerte del ratón se combinan en uno:

• Estado 1: (1,3)
• Estado 2: (1,5)
• Estado 3: (2,4)
• Estado 4: (3,5)
• Estado 5: juego sobre: (2,2), (3,3) " (4,4).

Usamos una matriz estocástica, P{displaystyle P} (bajo), para representar las probabilidades de transición de este sistema (las filas y columnas de esta matriz son indexadas por los posibles estados enumerados anteriormente, con el estado de pre-transición como el estado de fila y post-transición como la columna). Por ejemplo, a partir del estado 1 – 1a fila – es imposible que el sistema permanezca en este estado, así que P11=0{displaystyle P_{11}=0}; el sistema tampoco puede la transición al estado 2 – porque el gato habría permanecido en la misma caja – así P12=0{displaystyle P_{12}=0}, y por un argumento similar para el ratón, P14=0{displaystyle P_{14}=0}. Se permiten las transiciones a los estados 3 ó 5, y así P13,P15ل ل 0{displaystyle P_{13},P_{15}neq 0}.

P=[001/201/2001001/41/401/41/4001/201/200001].{displaystyle P={begin{bmatrix}0 tendría0 ventaja1/2 esquina01/2 rest0 implica0 igual01/4 consecutivo1/4 logro0 implica1/4 coincidiendo1/4 implica0 implica0 1⁄2⁄2 cada uno de los dos puntos.

Promedios a largo plazo

No importa lo que el estado inicial, el gato eventualmente cogerá el ratón (con probabilidad 1) y un estado estacionario π = (0,0,0,0,1) se aborda como límite. Para calcular el valor promedio a largo plazo o esperado de una variable estocástica Y{displaystyle Sí., por cada estado Sj{displaystyle S_{j} y tiempo tk{displaystyle T_{k} hay una contribución Yj,k⋅ ⋅ P()S=Sj,t=tk){displaystyle Y.... La supervivencia se puede tratar como una variable binaria Y=1{displaystyle Y=1} para un estado sobreviviente y Y=0{displaystyle Y=0} para el estado terminado. Los estados con Y=0{displaystyle Y=0} no contribuyan al promedio a largo plazo.

Representación de tipo de fase

La función de supervivencia del ratón. El ratón sobrevivirá al menos el primer paso.

Como el Estado 5 es un estado absorbente, la distribución del tiempo a la absorción es discreta tipo de fase distribuida. Supongamos que el sistema comienza en el estado 2, representado por el vector [0,1,0,0,0]{displaystyle [0,1,0,0,0]}. Los estados donde el ratón ha perecido no contribuyen al promedio de supervivencia para que el estado cinco pueda ser ignorado. La matriz inicial de estado y transición puede reducirse a,

τ τ =[0,1,0,0],T=[001200010141401400120],{displaystyle {boldsymbol {tau} {0}}=[0,0,0],qquad T={begin{bmatrix}0 correspond0{frac {1}{2} {0}} {0 Podría0\{0}{0} {0} {0} {0} {0} {0} {0} {0} {0} {0} {0} {0} {0}}} {0}}}}} {0}}}}}} {0}}}}}} {0}} {0} {0}}}}} {0}}}}} {0}}}}} {0}}}}}}}}}}} {0}}}}} {0} {0} {0}}}}} {0}} {0}}}}}}} {0} {0}}}} {0} {0}} {0} {0} {0} {0}} {0}}}}}}}}}} {0}}}}}}}}

y

()I− − T)− − 11=[2.754.53.52.75],{displaystyle (I-T)^{-1}{boldsymbol {1}={begin{bmatrix}2.754.53.522end{bmatrix}}}}}

Donde I{displaystyle Yo... es la matriz de identidad, y 1{displaystyle mathbf {1} representa una matriz de columna de todos los que actúa como una suma sobre los estados.

Dado que cada estado está ocupado durante un paso de tiempo, el tiempo esperado de supervivencia del ratón es solo la suma de la probabilidad de ocupación sobre todos los estados y pasos supervivientes en el tiempo,

E[K]=τ τ ()I+T+T2+⋯ ⋯ )1=τ τ ()I− − T)− − 11=4.5.{displaystyle E[K]={boldsymbol {fnMicrosoft Sans Serif} (I+T+T^{2}+cdots right){boldsymbol {1}={boldsymbol {tau }(I-T)^{-1}{boldsymbol {1}=4.5.}

Los momentos de orden superior están dados por

E[K()K− − 1)...... ()K− − n+1)]=n!τ τ ()I− − T)− − nTn− − 11.{displaystyle E[K(K-1)dots (K-n+1)]=n!{boldsymbol {tau }(I-{T})^{-n}{n-1}mathbf {1} ,