Distribución multinomial

En teoría de la probabilidad, la distribución multinomial es una generalización de la distribución binomial. Por ejemplo, modela la probabilidad de conteos para cada lado de un dado de k caras lanzado n veces. Para n ensayos independientes, cada uno de los cuales conduce al éxito exactamente en una de las k categorías, donde cada categoría tiene una probabilidad de éxito fija dada, la distribución multinomial da la probabilidad de cualquier combinación particular de números de éxitos para las distintas categorías.

Cuando k es 2 y n es 1, la distribución multinomial es la distribución de Bernoulli. Cuando k es 2 y n es mayor que 1, es la distribución binomial. Cuando k es mayor que 2 y n es 1, es la distribución categórica. El término "multinoulli" A veces se utiliza para la distribución categórica para enfatizar esta relación de cuatro vías (por lo que n determina el sufijo y k el prefijo).

La distribución de Bernoulli modela el resultado de un único ensayo de Bernoulli. En otras palabras, modela si lanzar una moneda (posiblemente sesgada) una vez resultará en un éxito (obtener cara) o en un fracaso (obtener cruz). La distribución binomial generaliza esto al número de caras al realizar n lanzamientos independientes (ensayos de Bernoulli) de la misma moneda. La distribución multinomial modela el resultado de n experimentos, donde el resultado de cada prueba tiene una distribución categórica, como lanzar un dado de k caras n > veces.

Vamos. k ser un número finito fijo. Matemáticamente, tenemos k posibles resultados mutuamente excluyentes, con las probabilidades correspondientes p₁,... p_k, y n juicios independientes. Desde k los resultados son mutuamente excluyentes y uno debe ocurrir que tenemos p_i≥ 0 para i= 1,...k y ${displaystyle sum ¿Qué?$. Entonces si las variables al azar X_i indicar el número de resultados i se observa sobre el n ensayos, el vector X=X₁,...X_k) sigue una distribución multinomial con parámetros n y p, donde p=p₁,...p_k). Si bien los juicios son independientes, sus resultados X_i son dependientes porque deben ser resumidos a n.

Definiciones

Función de masa de probabilidad

Supongamos que uno hace un experimento para extraer n bolas de k colores diferentes de una bolsa y reemplazar las bolas extraídas después de cada extracción. Las bolas del mismo color son equivalentes. Denota la variable que es el número de bolas de color extraídas i (i = 1,..., k) como X _i, y denotamos como p_i la probabilidad de que un La extracción dada estará en color i. La función de masa de probabilidad de esta distribución multinomial es:

${displaystyle {begin{aligned}f(x_{1},ldotsx_{k};n,p_{1},ldotsp_{k} Pr(X_{1}=x_{1}{text{ and }dots {text{ and }X_{k}=x_{k})\ {}={}={begin{cases}{displaystyle {n! over x_{1}!cdots x_{k}p_{1}times cdots times {fnK} {fnK}}}quad > {fnK}}sum ################################################################################################################################################################################################################################################################$

para enteros no negativos x₁,..., x_k.

La función de masa de probabilidad se puede expresar usando la función gamma como:

${displaystyle f(x_{1},dotsx_{k};p_{1},ldotsp_{k})={frac {fnMicrosoft Sans Ser _{i}x_{i}+1)}{prod "Gamma" ¿Qué?$

Esta forma muestra su parecido con la distribución de Dirichlet, que es su anterior conjugada.

Ejemplo

Supongamos que en una elección a tres bandas para un país grande, el candidato A recibió el 20% de los votos, el candidato B recibió el 30% de los votos y el candidato C recibió el 50% de los votos. Si se seleccionan seis votantes al azar, ¿cuál es la probabilidad de que haya exactamente un partidario del candidato A, dos partidarios del candidato B y tres partidarios del candidato C en la muestra?

Nota: Dado que suponemos que la población votante es grande, es razonable y permisible pensar que las probabilidades no cambian una vez que se selecciona un votante para la muestra. Técnicamente hablando, esto es un muestreo sin reemplazo, por lo que la distribución correcta es la distribución hipergeométrica multivariada, pero las distribuciones convergen a medida que la población crece en comparación con un tamaño de muestra fijo.

${displaystyle Pr(A=1,B=2,C=3)={frac {6}{1!2!3} {0.2^{1})(0.3^{2})(0.5^{3})=0.135}$

Propiedades

Valor esperado y varianza

El número esperado de veces que se observó el resultado i en n ensayos es

${displaystyle operatorname {E} (X_{i})=np_{i}.$

La matriz de covarianza es la siguiente. Cada entrada diagonal es la varianza de una variable aleatoria distribuida binomialmente y, por lo tanto, es

${displaystyle operatorname {Var} (X_{i})=np_{i}(1-p_{i}).,}$

Las entradas fuera de la diagonal son las covarianzas:

${displaystyle operatorname {Cov} (X_{i},X_{j})=-np_{i}p_{j},}$

para i, j distinto.

Todas las covarianzas son negativas porque para n fijo, un aumento en un componente de un vector multinomial requiere una disminución en otro componente.

Cuando estas expresiones se combinan en una matriz con i, j elemento ${displaystyle operatorname {cov} (X_{i},X_{j}),}$ el resultado es un k × k matriz de covariancia positiva y definitiva de rango k1. En el caso especial k=n y dónde p_i son todos iguales, la matriz de covariancia es la matriz de centro.

Las entradas de la matriz de correlación correspondiente son

${displaystyle rho (X_{i},X_{i})=1.}$

${displaystyle rho (X_{i},X_{j})={frac {operatorname {Cov} (X_{i},X_{j})}{sqrt {operatorname [Var] (X_{i}] [Var] (X_{j}}={frac] {-p_{i}p_{j}{sqrt [p_{i}(1-p_{i})p_{j}}=-{sqrt {fnMicroc {fnMicrosoft Sans Serif} {fnMicrosoft Sans Serif}}} {fnMicrosoft Sans Serif}$

Tenga en cuenta que el número de ensayos n desaparece de esta expresión.

Cada uno de los componentes k por separado tiene una distribución binomial con los parámetros n y p_i , para el valor apropiado del subíndice i.

El soporte de la distribución multinomial es el conjunto

${displaystyle {(n_{1},dotsn_{k})in mathbb {N} {k}mid} n_{1}+cdots ¿Qué?$

Su número de elementos es

${displaystyle {n+k-1 choose k-1}$

Notación matricial

En notación matricial,

${displaystyle operatorname {E} (mathbf {X})=nmathbf {p},}$

y

${displaystyle operatorname {Var} (mathbf {X})=nlbrace operatorname {diag} (mathbf {p})-mathbf {p} mathbf {p} ^{rm {T}rbrace,}}$

con p^T = la transposición del vector fila del vector columna < b>p.

Visualización

Como cortes del triángulo de Pascal generalizado

Así como uno puede interpretar la distribución binomial como cortes unidimensionales (normalizados) (1D) del triángulo de Pascal, también se puede interpretar la distribución multinomial como cortes 2D (triangulares) del triángulo de Pascal. pirámide, o rebanadas 3D/4D/+ (en forma de pirámide) de análogos de dimensiones superiores del triángulo de Pascal. Esto revela una interpretación del rango de la distribución: "pirámides" equiláteras discretizadas; en dimensión arbitraria, es decir. un simplex con una cuadrícula.

Como coeficientes polinómicos

Del mismo modo, al igual que uno puede interpretar la distribución binomial como los coeficientes polinomios de ${displaystyle (p+q)} {n}$ cuando se expande, se puede interpretar la distribución multinomial como los coeficientes de ${displaystyle (p_{1}+p_{2}+p_{3}+cdots ¿Qué?$ cuando se expande, notando que sólo los coeficientes deben resumir hasta 1.

Teoría de la gran desviación

Asintóticas

Por la fórmula de Stirling, al límite ${displaystyle N,x_{1},...,x_{n}to infty$, tenemos

$${displaystyle ln {binom {N}{x_{1},cdots {fn}p_{1}cdots ¿Por qué? {1}{2}sum _{i}ln({hat {p}_{i})-{frac {n-1}{2}}ln(2pi)+o(1)}$$

${displaystyle {hat} {fn}}=x_{i}/N}$

${displaystyle D_{KL}$

Esta fórmula se puede interpretar de la siguiente manera.

Considerar ${displaystyle Delta _{n}$, el espacio de todas las distribuciones posibles sobre las categorías ${displaystyle {1,2,...,n}$. Es un simple. Después ${displaystyle N}$ muestras independientes de la distribución categórica ${displaystyle p}$ (que es cómo construimos la distribución multinomial), obtenemos una distribución empírica ${displaystyle {hat {}}}$.

Por la fórmula asintotica, la probabilidad de que la distribución empírica ${displaystyle {hat {}}}$se desvía de la distribución real ${displaystyle p}$ decays exponencialmente, a un ritmo ${displaystyle ND_{KL} {hat {p}h00}}}$. Los más experimentos y los más diferentes ${displaystyle {hat {}}}$ es de ${displaystyle p}$, lo menos probable es ver tal distribución empírica.

Si ${displaystyle A}$ es un subconjunto cerrado ${displaystyle Delta _{n}$, entonces dividiendo ${displaystyle A}$ en pedazos, y razonando sobre la tasa de crecimiento ${displaystyle Pr({hat {}in A_{epsilon }}$ en cada pieza ${displaystyle A_{epsilon}$, obtenemos el teorema de Sanov, que afirma que

$${displaystyle lim _{Nto infty}{frac {1}{N}ln Pr({hat {p}inf _{hat {p}in A}D_{KL}({hat {p}f}fnf}fnf}fnh}fnh}fnh}fnh}fnf}fnf}fnhnhnh}f}f}fnhnhnhnhnhnhnhnhnhnhnhnhnhnhnhnhnhnhnhnhnhnhnhnhnhnhnhnhnhnhnhnh}f}f}f}fnhnhnhnhnhnhnhnhnhnh}f}f}fnhnhnhnhnhnhnhnhnhnhnhnhnhnhnhnhnhnhnh}f}f$$

Concentración en general N

Debido a la decadencia exponencial, en general ${displaystyle N}$, casi toda la masa de probabilidad se concentra en un pequeño barrio ${displaystyle p}$. En este pequeño barrio, podemos tomar el primer término no cero en la expansión de Taylor ${displaystyle D_{KL}$, para obtener

$${displaystyle ln {binom {N}{x_{1},cdots {fn}p_{1}cdots. - {fnfn} {fnfnh} {fnfnfnh} {fnfnf}} {fn}} {f}}} {fn}} {fnfnfnf}}} {fnfnfnfnfnf}fnfnfnfnfnfnfnfnfnfnfnfnfnfnfnfnfnh}fnfnfnfnfnfnfnfnfnfnfnfnK}fnKfnfnh}}}fnfnfnfnfnh}}}}fnfnfnfnfnh}}}fnfnfnh}}}}}}fn {1}{2}sum _{i}{i} {f} {f}} {f}} {fn}}}}} {f}}}}}}} {f}}}}} {f}}}}} {f}}}}}}}}}}} {f}}}}}}}}} {f}}}}}}}$$

Teorema. En el ${displaystyle Nto infty$ límite, ${displaystyle Nsum... ¿Por qué?$ converge en la distribución a la distribución entre chismes ${displaystyle chi ^{2}(n-1)}$.

Prueba. El espacio de todas las distribuciones sobre categorías ${displaystyle {1,2,ldotsn}$ es un simplex: ${displaystyle Delta _{n}=left{(y_{1},ldotsy_{n})colon Y... - Sí.$, y el conjunto de todas las distribuciones empíricas posibles después ${displaystyle N}$ experimentos es un subconjunto del simplex: ${displaystyle Delta ################################################################################################################################################################################################################################################################ mathbb {N} sum ¿Qué?$. Es decir, es la intersección entre ${displaystyle Delta _{n}$ y la celosa ${displaystyle (mathbb {Z} {n})/N}$.

As ${displaystyle N}$ aumentos, la mayoría de la masa de probabilidad se concentra en un subconjunto ${displaystyle Delta _{n,N}$ cerca ${displaystyle p}$, y la distribución de probabilidad cerca ${displaystyle p}$ se vuelve bien aproximado por

$${displaystyle {binom}{x_{1},cdots {fn}p_{1}cdots {fn} {fn} {fn} {fn} {fn} {fn}}sum _{i}{f} {fn}}} {fn}}}}} {fn}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}} {}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}} {$$

${displaystyle 1/{sqrt {N}}$

${displaystyle 1/N}$

${displaystyle N}$

${displaystyle Delta _{n,N}$

${displaystyle Delta _{n}$

${displaystyle rho ({hat {p})=Ce^{-{frac {fn} {fn} {fnh} {fnh}fnh} {fnh}} {f}}}}}}}}} {f}}}}}} {f}}}}} {f}}}}}}}}}}} {f}}}}}}}}}}}}}}}}}} {$

${displaystyle C}$

Finalmente, desde el sencillo ${displaystyle Delta _{n}$ no es todo ${displaystyle mathbb {R} {} {}} {fn}}$, pero sólo dentro de un ${displaystyle (n-1)}$- plano dimensional, obtenemos el resultado deseado.

Concentración condicional en N grande

El fenómeno de concentración anterior se puede generalizar fácilmente al caso en el que condicionamos restricciones lineales. Ésta es la justificación teórica de la prueba chi-cuadrado de Pearson.

Teorema. Si imponemos ${displaystyle k+1}$ limitaciones lineales independientes

$${displaystyle {begin{cases}sum ¿Qué? {p}_{i}=1,be} ¿Qué? {p}_{i}=b_{1},\sum ¿Qué? {p}_{i}=b_{2},\\cdots\\sum ¿Qué? {fnMicrosoft Sans Serif}$$

${displaystyle p}$

${displaystyle Nto infty$

${displaystyle Nsum... ¿Por qué?$

${displaystyle chi ^{2}(n-1-k)}$

Prueba. La misma prueba se aplica, pero esta vez ${displaystyle Delta _{n,N}$ es la intersección de ${displaystyle (mathbb {Z} {n})/N}$ con ${displaystyle Delta _{n}$ y ${displaystyle k}$ hiperplanos, todos linealmente independientes, así que la densidad de probabilidad ${displaystyle rho ({hat {p})}$ está restringido a un ${displaystyle (n-k-1)}$- plano dimensional.

El teorema anterior no es totalmente satisfactorio, porque por definición, cada uno de ${displaystyle {hat {}_{1},{hat {}_{2},{hat},{hat} {}_{n}}$ debe ser un número racional, mientras que ${displaystyle P_{1},p_{2},...p_{n}$ puede ser elegido de cualquier número en ${displaystyle [0,1]}$. En particular, ${displaystyle p}$ puede satisfacer limitaciones lineales que no ${displaystyle {hat {}}}$ puede ser posible satisfacer, como ${displaystyle pi P_{1}=1}$. El próximo teorema fija esta cuestión:

Teorema.

• Funciones ${displaystyle F_{1},...f_{k}$, tal que son continuamente diferentes en un barrio ${displaystyle p}$y los vectores ${displaystyle (1,1,...,1),nabla f_{1}(p),...,nabla f_{k}(p)}$ son linealmente independientes;
• secuencias dadas ${displaystyle epsilon _{1}(N),...,epsilon _{n}(N)}$, tal que asintotica ${displaystyle {frac {1}{N}ll epsilon _{k}(N)ll {frac {1}{sqrt {N}}}}}$ para cada uno ${displaystyle kin {1,...,n}$;
• entonces para la distribución multinomial condicional a limitaciones ${fn} {fn} {fn} {f} {f}(n)}(n)}(N),f_{1}(p)+epsilon _{1}(N)],...,f_{n}({n})en [f_{n} {n} {n} {n} {n} {n}}} {n}}}}} {n} {n}} {n}n}}}}n}}}} {n} {n} {n} {n}}}n}}}}}}}}}}}}}}}}} {n} {n} {n} {n} {n}} {n}}}}}}}}}}}}}}}}n} {n} {n} {n} {n} {n} {n}}n}}}}}}}}}}}}}}}}}$, ${displaystyle Nsum... ¿Por qué?$ convergencias en la distribución a ${displaystyle chi ^{2}(n-1-k)}$ en el ${displaystyle Nto infty$ límite.

En el caso de que todo ${displaystyle {hat {}_{i}}$ son iguales, el Teorema reduce a la concentración de entropías alrededor de la Entropía Máxima.

Distribuciones relacionadas

En algunos campos como el procesamiento del lenguaje natural, las distribuciones categóricas y multinomiales son sinónimos y es común hablar de una distribución multinomial cuando una distribución categórica es realmente significada. Esto se deriva del hecho de que a veces es conveniente expresar el resultado de una distribución categórica como un vector "1-de-K" (un vector con un elemento que contiene 1 y todos los demás elementos que contienen un 0) en lugar de como entero en el rango ${displaystyle 1dots K}$; en este formulario, una distribución categórica equivale a una distribución multinomial en un solo juicio.

• Cuando k = 2, la distribución multinomial es la distribución binomial.
• Distribución categórica, distribución de cada ensayo; para k = 2, esta es la distribución de Bernoulli.
• La distribución Dirichlet es el conjugado antes del multinomio en las estadísticas Bayesianas.
• Dirichlet-multinomial distribution.
• Distribución beta-binomial.
• Distribución multinomial negativa
• Principio Hardy-Weinberg (es una distribución trinomial con probabilidades ${displaystyle (theta ^{2},2theta (1-theta),(1-theta)^{2}}$)

Inferencia estadística

Pruebas de equivalencia para distribuciones multinomiales

El objetivo de las pruebas de equivalencia es establecer la concordancia entre una distribución multinomial teórica y las frecuencias de conteo observadas. La distribución teórica puede ser una distribución multinomial completamente especificada o una familia paramétrica de distribuciones multinomiales.

Vamos. ${displaystyle q}$ denotar una distribución multinomial teórica y dejar ${displaystyle p}$ ser una verdadera distribución subyacente. Las distribuciones ${displaystyle p}$ y ${displaystyle q}$ se consideran equivalentes si ${displaystyle d(p,q)cantadovarepsilon }$ para una distancia ${displaystyle d}$ y un parámetro de tolerancia ${displaystyle varepsilon }$. El problema de la prueba de equivalencia es ${displaystyle H_{0}={d(p,q)geq varepsilon}$ versus ${displaystyle H_{1}={d(p,q) {}}$. La verdadera distribución subyacente ${displaystyle p}$ es desconocido. En cambio, las frecuencias contables ${displaystyle P_{n}$ se observan, donde ${displaystyle n}$ es un tamaño de muestra. Usos de una prueba de equivalencia ${displaystyle P_{n}$ rechazar ${displaystyle H_{0}$. Si ${displaystyle H_{0}$ puede ser rechazado entonces la equivalencia entre ${displaystyle p}$ y ${displaystyle q}$ se muestra a un nivel de significado dado. La prueba de equivalencia para la distancia euroclidiana se puede encontrar en el libro de texto de Wellek (2010). La prueba de equivalencia para la distancia total de variación se desarrolla en Ostrovski (2017). La prueba exacta de equivalencia para la distancia acumulativa específica se propone en Frey (2009).

La distancia entre la verdadera distribución subyacente ${displaystyle p}$ y una familia de las distribuciones multinomiales ${displaystyle {fnMithcal}}$ se define por ${displaystyle d(p,{mathcal {M})=min _{hin {mathcal {}d(p,h)}$. Entonces el problema de prueba de equivalencia es dado por ${displaystyle H_{0}={d(p,{mathcal {M})geq varepsilon }$ y ${displaystyle ¿Qué? {}}$. La distancia ${displaystyle d(p,{mathcal {M}}}$ generalmente se computa con la optimización numérica. Las pruebas para este caso se desarrollan recientemente en Ostrovski (2018).

Generación de variables aleatorias

Primero, reordenar los parámetros ${displaystyle p_{1},ldotsp_{k}$ tal que están ordenados en orden descendente (esto es sólo para acelerar la computación y no estrictamente necesario). Ahora, para cada ensayo, dibujar una variable auxiliar X de una distribución uniforme (0, 1). El resultado resultante es el componente

${displaystyle j=min left{j'in {1,dotsk}colon left(sum _{i=1}}{j'}p_{i}right)-Xgeq 0right}$

{}X_j = 1, X_k = 0 para kلj } es una observación de la distribución multinomial ${displaystyle p_{1},ldotsp_{k}$ y n1. Una suma de repeticiones independientes de este experimento es una observación de una distribución multinomial con n igual al número de esas repeticiones.

Muestreo utilizando muestras binomiales condicionales repetidas

Dados los parámetros ${displaystyle ¿Qué?$ y un total para la muestra ${displaystyle N}$ tales que ${displaystyle sum ¿Qué?$, es posible probar secuencialmente el número en un estado arbitrario ${displaystyle X_{i}$, partiendo el espacio del estado en ${displaystyle i}$ y no...${displaystyle i}$, condicionado a cualquier muestra anterior ya tomada, repetidamente.

Algoritmo: muestreo binomial condicional secuencial

S = N
rho = 1para i dentro [1,k-1]:
 si rho != 0:
 X[i] ~ Binom()S,p[i]/rho) más X[i] = 0 S = S - X[i] rho = rho - p[i]X[k] = S

Heurísticamente, cada aplicación de la muestra binomial reduce el número disponible para muestrear y las probabilidades condicionales también se actualizan para garantizar la coherencia lógica.