Medida de covariância de componentes de um vetor aleatório
Uma função de densidade de probabilidade gaussiana bivariada centrada em (0, 0), com matriz de covariância dada por A amostra aponta de uma distribuição gaussiana bivariada com um desvio padrão de 3 em aproximadamente a direção direita inferior esquerda-upper e de 1 na direção ortogonal. Porque... x e Sim. componentes co-vary, as variações de e não descrever totalmente a distribuição. A matriz de covariância é necessária; as direções das setas correspondem aos eigenvectores desta matriz de covariância e seus comprimentos às raízes quadradas dos eigenvalues.
Na teoria e estatística de probabilidade, a matriz de covariância (também conhecida como matriz de auto-covariância , Matriz de dispersão , Matriz de variância , ou A matriz de variância -covariância ) é uma matriz quadrada que fornece a covariância entre cada par de elementos de um determinado vetor aleatório.
Intuitivamente, a matriz de covariância generaliza a noção de variância em múltiplas dimensões. Como exemplo, a variação em uma coleção de pontos aleatórios no espaço bidimensional não pode ser caracterizada totalmente por um único número, nem as variações no e direções contêm todas as informações necessárias; uma a matriz seria necessária para caracterizar totalmente a variação bidimensional.
Qualquer matriz de covariância é semi-definida simétrica e positiva e sua diagonal principal contém variações (isto é, a covariância de cada elemento consigo mesmo).
A matriz de covariância de um vetor aleatório é tipicamente denotado por , ou .
Definição
Ao longo deste artigo, negritos não subscritos e são usados para se referir a vetores aleatórios, e Roman subscripted e são usados para se referir a variáveis aleatórias escalares.
Se as entradas no vetor da coluna
são variáveis aleatórias, cada uma com variância finita e valor esperado, então a matriz de covariância é a matriz cuja entrada é a covariância
onde o operador denota o valor esperado (mean) de seu argumento.
Nomenclaturas e notações conflitantes
As nomenclaturas diferem. Alguns estatísticos, seguindo o probabilista William Feller em seu livro de dois volumes Uma introdução à teoria da probabilidade e suas aplicações, chamar a matriz o Variação do vetor aleatório , porque é a generalização natural a dimensões mais altas da variância 1-dimensional. Outros chamam-lhe o matriz de covariância, porque é a matriz de covariâncias entre os componentes escalares do vetor .
Ambas as formas são bastante padrão, e não há ambiguidade entre elas. A matriz é também muitas vezes chamado de matriz de variância-covariância, uma vez que os termos diagonais são de fato variações.
Em comparação, a notação para a matriz de covariância cruzada entre dois vetores é
Propriedades
Relação com a matriz de autocorrelação
A matriz de auto-covariância está relacionado com a matriz de autocorrelação por
onde a matriz de correção automática é definida como .
Relação à matriz de correlação
Uma entidade estreitamente relacionada à matriz de covariância é a matriz dos coeficientes de correlação de produto-momento de Pearson entre cada uma das variáveis aleatórias no vetor aleatório , que pode ser escrito como
Onde? é a matriz dos elementos diagonais de (i.e., uma matriz diagonal das variâncias de para ).
Equivalentemente, a matriz de correlação pode ser vista como a matriz de covariância das variáveis aleatórias padronizadas para .
Cada elemento na diagonal principal de uma matriz de correlação é a correlação de uma variável aleatória consigo mesma, que sempre é igual a 1. Cada elemento fora da diagonal está entre -1 e +1 inclusive.
Inverso da matriz de covariância
O inverso desta matriz, , se existir, é a matriz de covariância inversa (ou matriz de concentração inversa), também conhecida como a matriz de precisão (ou matriz de concentração).
Assim como a matriz de covariância pode ser escrita como o dimensionamento de uma matriz de correlação pelas variações marginais:
Assim, usando a ideia de correlação parcial e variância parcial, a matriz de covariância inversa pode ser expressa analógicamente:
Esta dualidade motiva uma série de outras dualidades entre marginalização e condicionamento para variáveis aleatórias gaussianas.
Propriedades básicas
Para e , onde é um - variável aleatória dimensional, as seguintes propriedades básicas aplicam-se:
é positiva, isto é.
é simétrico, ou seja.
Para qualquer constante (ou seja, não aleatória) matriz de matriz e constante vetor , um tem
Se é outro vetor aleatório com a mesma dimensão que , então Onde? é a matriz de covariância cruzada e .
Bloco de matrizes
A média conjunta e matriz de covariância conjunta de e pode ser escrito em forma de bloco
Onde? , e .
e pode ser identificado como as matrizes de variância das distribuições marginais para e respectivamente.
Se e são normalmente distribuídos em conjunto,
então a distribuição condicional para dados é dado por
definido por meio condicional
e variância condicional
A matriz é conhecida como matriz de coeficientes de regressão, enquanto em álgebra linear é o complemento Schur de em .
A matriz de coeficientes de regressão pode muitas vezes ser dada na forma transpose, , adequado para pós-multiplicando um vetor de linha de variáveis explicativas em vez de pré-multiplicar um vetor de coluna . Nesta forma correspondem aos coeficientes obtidos invertendo a matriz das equações normais dos mínimos quadrados ordinários (OLS).
Matriz de covariância parcial
Uma matriz de covariância com todos os elementos diferentes de zero nos diz que todas as variáveis aleatórias individuais estão inter-relacionadas. Isso significa que as variáveis não estão diretamente correlacionadas, mas também correlacionadas por outras variáveis indiretamente. Freqüentemente, essas correlações indiretas e comuns são triviais e desinteressantes. Eles podem ser suprimidos calculando a matriz de covariância parcial, que é a parte da matriz de covariância que mostra apenas a parte interessante das correlações.
Se dois vetores de variáveis aleatórias e estão correlacionados via outro vetor , as últimas correlações são suprimidas em uma matriz
A matriz de covariância parcial é efetivamente a matriz de covariância simples como se as variáveis aleatórias desinteressantes foram mantidos constantes.
Matriz de covariância como parâmetro de distribuição
Se um vetor de coluna de variáveis aleatórias possivelmente correlacionadas são distribuídas em conjunto normalmente, ou mais geralmente distribuídas ellipticamente, então sua função de densidade de probabilidade pode ser expressa em termos da matriz de covariância como segue
Onde? e é o determinante de .
Matriz de covariância como operador linear
Aplicado a um vetor, a matriz de covariância mapeia uma combinação linear c das variáveis aleatórias X em um vetor de covariâncias com essas variáveis: . Tratada como forma bilinear, produz a covariância entre as duas combinações lineares: . A variação de uma combinação linear é então , sua covariância com si mesmo.
Da mesma forma, a matriz de covariância inversa (pseudo) fornece um produto interno , que induz a distância de Mahalanobis, uma medida da "inigualdade" de c.
Que matrizes são matrizes de covariância?
Da identidade logo acima, deixe ser um vetor real, então
que deve ser sempre nonnegative, uma vez que é a variância de uma variável aleatória real, então uma matriz de covariância é sempre uma matriz positiva-semidefinita.
O argumento acima pode ser expandido da seguinte forma:onde a última desigualdade segue da observação de que é um escalão.
Por outro lado, cada matriz semi-definita positiva simétrica é uma matriz de covariância. Para ver isto, suponha é um matriz simétrica positiva-semidefinita. Do caso finito-dimensional do teorema espectral, segue-se que tem uma raiz quadrada simétrica nonnegativa, que pode ser denotada por M1/2-2001. Vamos. ser qualquer coluna vetor-valorizada variável aleatória cuja matriz de covariância é matriz de identidade. Então...
vetores aleatórios complexos
A variação de um complexo escalar-valorizado variável aleatória com valor esperado é convencionalmente definido usando conjugação complexa:
onde o complexo conjugar um número complexo é denotado ; assim, a variância de uma variável aleatória complexa é um número real.
Se é um vetor coluna de variáveis aleatórias de valor complexo, então o transpose conjugado é formado por ambos transpondo e conjugando. Na expressão seguinte, o produto de um vetor com sua transposição conjugada resulta em uma matriz quadrada chamada a matriz de covariância, como sua expectativa:
A matriz assim obtida será hermitiana positiva-semidefinita, com números reais na diagonal principal e números complexos off-diagonal.
Propriedades
A matriz de covariância é uma matriz hermitiana, ou seja. .
Os elementos diagonais da matriz de covariância são reais.
Matriz de Pseudo-covariância
Para vetores aleatórios complexos, outro tipo de segundo momento central, o matriz pseudo-covariância (também chamado) matriz de relação) é definido como segue:
Ao contrário da matriz de covariância definida acima, a transposição hermitiana é substituída por transposição na definição.
Seus elementos diagonais podem ser valorizados complexos; É uma matriz simétrica complexa.
Estimativa
Se e são matrizes de dados centralizados de dimensão e respectivamente, ou seja, com n colunas de observações de p e q linhas de variáveis, das quais os meios de linha foram subtraídos, então, se os meios de linha foram estimados a partir dos dados, matrizes de covariância de amostra e pode ser definido como
ou, se a linha significa fosse conhecida a priori,
Essas matrizes de covariância da amostra empírica são os estimadores mais diretos e usados com mais frequência para as matrizes de covariância, mas também existem outros estimadores, incluindo estimadores regularizados ou de encolhimento, que podem ter melhores propriedades.
Aplicações
A matriz de covariância é uma ferramenta útil em muitas áreas diferentes. A partir dele, uma matriz de transformação pode ser derivada, chamada de transformação de clareamento, que permite que alguém a correlacione completamente os dados ou, de um ponto de vista diferente, para encontrar uma base ideal para representar os dados de uma maneira compacta (consulte o quociente de Rayleigh para A prova formal e propriedades adicionais de matrizes de covariância).
Isso é chamado de análise de componentes principais (PCA) e a transformação Karhunen-Loève (KL-Transform).
A matriz de covariância desempenha um papel fundamental na economia financeira, especialmente na teoria do portfólio e seu teorema de separação de fundos mútuos e no modelo de preços de ativos de capital. A matriz de covariâncias entre vários ativos ' Os retornos são usados para determinar, sob certas suposições, as quantidades relativas de diferentes ativos que os investidores devem (em uma análise normativa) ou prevê -se (em uma análise positiva) optar por manter em um contexto de diversificação.
Use na otimização
A estratégia de evolução, uma família específica de heurísticas de busca randomizada, baseia -se fundamentalmente em uma matriz de covariância em seu mecanismo. O operador de mutação característico desenha a etapa de atualização de uma distribuição normal multivariada usando uma matriz de covariância em evolução. Há uma prova formal de que a matriz de covariância da estratégia de evolução se adapta ao inverso da matriz hessiana do cenário de busca, até um fator escalar e pequenas flutuações aleatórias (comprovado para uma estratégia de parente e um modelo estático, À medida que o tamanho da população aumenta, depender da aproximação quadrática).
Intuitivamente, esse resultado é suportado pela lógica de que a distribuição ideal de covariância pode oferecer etapas de mutação cujos contornos de probabilidade de equidência correspondem aos conjuntos de nível da paisagem e, portanto, maximizam a taxa de progresso.
Mapeamento de covariância
Em mapeamento de covariância os valores dos ou matriz são plotadas como um mapa 2-dimensional. Quando vetores e são funções aleatórias discretas, o mapa mostra relações estatísticas entre diferentes regiões das funções aleatórias. As regiões estatisticamente independentes das funções aparecem no mapa como planalto de nível zero, enquanto as correlações positivas ou negativas aparecem, respectivamente, como colinas ou vales.
Na prática, os vetores de coluna e são adquiridos experimentalmente como linhas de amostras, por exemplo.
Onde? é o Eu...-o valor discreto na amostra JJ da função aleatória . Os valores esperados necessários na fórmula de covariância são estimados usando a média da amostra, por exemplo.
e a matriz de covariância é estimada pela matriz de covariância da amostra
onde os suportes angulares denotam amostra média como antes, exceto que a correção do Bessel deve ser feita para evitar viés. Usando esta estimativa a matriz de covariância parcial pode ser calculada como
onde o backslash denota o operador de divisão de matriz esquerda, que ignora a exigência de inverter uma matriz e está disponível em alguns pacotes computacionais como Matlab.
Figura 1: Construção de um mapa de covariância parcial de N2 moléculas submetidas à explosão de Coulomb induzida por um laser de electrões livres. Painéis um e b) mapeie os dois termos da matriz de covariância, que é mostrada no painel c. Painel D mapas correlações de modo comum através de flutuações de intensidade do laser. Painel e mapeia a matriz de covariância parcial que é corrigida para as flutuações de intensidade. Painel f mostra que 10% sobrecorreção melhora o mapa e torna as correlações de íons claramente visíveis. Devido à conservação do ímpeto, essas correlações aparecem como linhas aproximadamente perpendiculares à linha de autocorrelação (e às modulações periódicas que são causadas pelo anelamento do detector).
Fig. 1 ilustra como um mapa de covariância parcial é construído em um exemplo de uma experiência realizada no laser livre-eletrônico FLASH em Hamburgo. A função aleatória é o espectro de tempo de voo de íons de uma explosão de Coulomb de moléculas de nitrogênio multiplicado por um pulso laser. Uma vez que apenas algumas centenas de moléculas são ionizadas em cada pulso laser, o espectro de tiro único é altamente flutuante. No entanto, coletando tipicamente tal espectro, , e avaliá-los produz um espectro suave , que é mostrado em vermelho na parte inferior da Fig. 1. O espectro médio revela vários íons de nitrogênio em uma forma de picos ampliados por sua energia cinética, mas para encontrar as correlações entre as fases de ionização e o momento do íon requer o cálculo de um mapa de covariância.
A espectroscopia de infravermelho bidimensional emprega análise de correlação para obter espectros 2D da fase condensada. Existem duas versões desta análise: síncrona e assíncrona. Matematicamente, o primeiro é expresso em termos da matriz de covariância da amostra e a técnica é equivalente ao mapeamento de covariância.
Ver também
Função de covariância
Decomposição do valor
Matriz Gramiana
Distribuição Lewandowski-Kurowicka-Joe
Estatísticas multivariadas
Componentes principais
Forma quadrática (estatística)
Referências
↑ a b cPark, Kun Il (2018). Fundamentos de Probabilidade e Processos Estocásticos com Aplicações às Comunicações. Springer. ISBN 978-319-68074-3.
^William Feller (1971). Uma introdução à teoria da probabilidade e suas aplicações. Wiley. ISBN 978-0-471-25709-7. Retrieved 10 de Agosto 2012.
^Wasserman, Larry (2004). Todas as estatísticas: um curso conciso em inferência estatística. Springer. ISBN 0-387-40272-1.
^Taboga, Marco (2010). «Leturas sobre teoria da probabilidade e estatística matemática».
^Eaton, Morris L. (1983). Estatísticas multivariadas: uma abordagem de espaço vetorial. John Wiley and Sons. pp. 116–117. ISBN 0-471-02776-6.
↑ a bW J Krzanowski "Principles of Multivariate Analysis" (Oxford University Press, Nova Iorque, 1988), Chap. 14.4; K V Mardia, J T Kent e J M Bibby "Multivariate Analysis (Academic Press, London, 1997), Chap. 6.5.3; T W Anderson "An Introduction to Multivariate Statistical Analysis" (Wiley, New York, 2003), 3rd ed., Chaps. 2.5.1 e 4.3.1.
^Lapidoth, Amos (2009). Uma Fundação em Comunicação Digital. Cambridge University Press. ISBN 978-0-521-19395-5.
^Brookes, Mike. «The Matrix Reference Manual» (em inglês).
^Shir, O.M.; A. Yehudayoff (2020). «Sobre a relação covariance-Hessian em estratégias de evolução». Ciência da Computação Teórica. 801. Elsevier: 157–174. - Sim.1806.03674. - Sim.10.1016/j.tcs.2019.09.002.
^L J Frasinski "Técnicas de mapeamento de covariância" J. Phys. B: At. Mol. Opt. Phys.49 152004 (2016), acesso aberto
↑ a bO Kornilov, M Eckstein, M Rosenblatt, C P Schulz, K Motomura, A Rouzée, J Klei, L Foucar, M Siano, A Lübcke, F. Schapper, P Johnsson, D M P P P P P Holland, T Schlatholter, T Marchenko, S Düsterped parcial, K Ueda, M J J Vrak J. Phys. B: At. Mol. Opt. Phys.46. 164028 (2013), acesso aberto
^I Noda "método generalizado de correlação bidimensional aplicável ao infravermelho, Raman e outros tipos de espectroscopia" Appl. Spectrosc.47 1329–36 (1993)
Leitura adicional
"Matriz de covariância", Enciclopédia da Matemática, EMS Press, 2001 [1994]
"Covariance Matrix Explained With Pictures", uma maneira fácil de visualizar matrizes de covariância!
Weisstein, Eric W. "Covariance Matrix". Matemática.
van Kampen, N. G. (1981). Processos estocásticos em física e química. Nova Iorque: North-Holland. ISBN 0-444-86200-5.
v
)
e
Estatísticas
Linha de produção
índice
Estatísticas descritivas
Dados contínuos
Centro
Meio
Aritmética
Aritmética - Geometria
Contra-harmónica
Cubic
Geralizado/poder
Geometria
Harmonia
Heroína
Heinz
Lehmer.
Median
Modo
Dispersão
Desvio absoluto médio
Coeficiente de variação
Gama interquartil
Percentagem
Gama
Desvio padrão
Variação
Forma
teorema do limite central
Momentos
Kurtosis
L-momentos
Skewness
Dados de contagem
Índice de dispersão
Quadros de síntese
Tabela de contingência
Distribuição de frequência
Dados agrupados
Dependência
Correlação parcial
Correlação do produto-momento da Pearson
Correlação aleatória
Kendall's τ
O Spearman's
enredo de dispersão
Gráficos
Gráfico de barras
Biplot
Lote de caixa
Gráfico de controle
Correção
Gráfico de fãs
Terreno florestal
Histograma
Gráfico de peças
Q-Q plotagem
Gráfico de radar
Gráfico de execução
enredo de dispersão
Exibição Stem-and-leaf
enredo de Violino
Coleta de dados
Design de estudo
Tamanho do efeito
Dados perdidos
Design ideal
População
Replicação
Determinação do tamanho da amostra
Estatística
Poder estatístico
Metodologia de pesquisa
Amostragem
Cluster
Strat
Processo de parecer
Pergunta
Erro padrão
Experiências controladas
Bloqueio
Experiência fatorial
Interação
Atribuição aleatória
Ensaio controlado randomizado
Experiência aleatória
Controlo científico
Designs adaptativos
Ensaio clínico adaptativo
aproximação estocástica
Projetos para cima e para baixo
Estudos observacionais
Estudo de coorte
Estudo transversal
Experiência natural
Quasi-experiência
Inferência estatística
Teoria estatística
População
Estatística
Distribuição de probabilidade
Distribuição de amostragem
Estatística de ordem
Distribuição empírica
Estimação de densidade
Modelo estatístico
Especificação do modelo
Espaço Lp
Parâmetro
localização
escala
forma
Família paramétrica
Gostosidade (monotone)
Família em escala de localização
Família experiencial
Completa
Suficiência
Funcionamento estatístico
Bootstrap
U
V
Decisão ótima
função de perda
Eficiência
Distância estatística
divergência
Assintomática
Robusto
Inferência freqüente
Estimativa de pontos
Equações de estimativa
Máxima probabilidade
Método de momentos
M-estimador
Distância mínima
Estimadores imparciais
Variância mínima mediada
Rao-Blackwellization
Teorema de Lehmann
Mediana imparcial
Plug-in
Estimação interval
Intervalo de confiança
Pivot
Intervalo de probabilidade
Intervalo de predição
Intervalo de tolerância
Resampling
Bootstrap
Boa sorte.
Testando hipóteses
1- & 2 caudas
Poder
Teste uniformemente mais poderoso
Teste de Permutação
Teste de Randomização
Várias comparações
Testes paramétricos
Ratio da probabilidade
Multiplicador de pontuação/lagrange
Wald
Testes específicos
Teste Z (normal)
Teste t do estudante
Teste de F
Bondade de ajuste
Chi-quarto
Teste de G
Kolmogorov–Smirnov
Anderson–Darling
Lilliefors
Jarque–Bera
Normalidade (Shapiro-Wilk)
Teste de probabilidade
Seleção de modelos
Validação cruzada
AIC
BIC
Estatísticas aleatórias
Sinalização
Amostra mediana
Classificação assinada (Wilcoxon)
Estimador de Hodges-Lehmann
Rescaldo da Sessão (Mann–Whitney)
Inovação não paramétrica
1 via (Kruskal-Wallis)
2-way (Friedman)
Alternativa ordenada (Jonckheere–Terpstra)
Teste de Van der Waerden
Inferência bayesiana
Probabilidade bayesiana
anterior
posterior
Intervalo crível
Fator de baías
Estimador bayesiano
Estimador posterior máximo
Correlação
Análise de regressão
Correlação
Pearson product-moment
Correlação parcial
Variável de confusão
Coeficiente de determinação
Análise de regressão
Erros e resíduos
Validação de regressão
Modelos de efeitos mistos
Modelos de equações simultâneas
Linhas de regressão adaptativa multivariadas (MARS)