Algoritmos para calcular variância

AjustarCompartirImprimirCitar

Algoritmos importantes em estatísticas numéricas

Algoritmos para calcular variância desempenham um papel importante na estatística computacional. Uma dificuldade fundamental no projeto de bons algoritmos para esse problema é que as fórmulas para a variância podem envolver somas de quadrados, o que pode levar à instabilidade numérica, bem como ao estouro aritmético ao lidar com valores grandes.

Algoritmo ingênuo

Uma fórmula para calcular a variância de uma população inteira de tamanho N é:

{displaystyle sigma ^{2}={overline {(x^{2})}}-{bar {x}}^{2}={frac {sum _{i=1}^{N}x_{i}^{2}-(sum _{i=1}^{N}x_{i})^{2}/N}{N}}.}

Usando a correção de Bessel para calcular uma estimativa imparcial da variância da população a partir de uma amostra finita de n observações, a fórmula é:

{displaystyle s^{2}=left({frac {sum _{i=1}^{n}x_{i}^{2}}{n}}-left({frac {sum _{i=1}^{n}x_{i}}{n}}right)^{2}right)cdot {frac {n}{n-1}}.}

Portanto, um algoritmo ingênuo para calcular a variância estimada é dado por:

Vamos. $n \leftarrow 0, Sum \leftarrow 0, SumSq \leftarrow 0$
Para cada dado x:
- $n \leftarrow n + 1$
- $Soma \leftarrow Soma + x$
- $\leftarrow SumSq + x \times x$
$Var = (SumSq - (Sum \times Sum) / n) / (n - 1)$

Este algoritmo pode ser facilmente adaptado para calcular a variância de uma população finita: simplesmente divida por n em vez de n − 1 na última linha.

Como $SumSq$ e $(Sum\timesSum)/ n$ podem ser números muito semelhantes, o cancelamento pode fazer com que a precisão do resultado seja muito menor do que a precisão inerente da aritmética de ponto flutuante usada para realizar a computação. Assim, este algoritmo não deve ser usado na prática, e vários algoritmos alternativos, numericamente estáveis, foram propostos. Isso é particularmente ruim se o desvio padrão for pequeno em relação à média.

Calculando dados deslocados

A variação é invariável em relação a alterações em um parâmetro de localização, uma propriedade que pode ser usada para evitar o cancelamento catastrófico nesta fórmula.

{displaystyle operatorname {Var} (X-K)=operatorname {Var} (X).}

com $K$ qualquer constante, o que leva à nova fórmula

{displaystyle sigma ^{2}={frac {sum _{i=1}^{n}(x_{i}-K)^{2}-(sum _{i=1}^{n}(x_{i}-K))^{2}/n}{n-1}}.}

mais perto $K$ é para o valor médio o mais preciso o resultado será, mas apenas escolhendo um valor dentro do gama de amostras irá garantir a estabilidade desejada. Se os valores $(x_i - K)$ são pequenos então não há problemas com a soma de seus quadrados, pelo contrário, se eles são grandes, significa necessariamente que a variância é grande também. Em qualquer caso, o segundo termo na fórmula é sempre menor do que o primeiro, portanto, nenhum cancelamento pode ocorrer.

Se apenas a primeira amostra é tomada como $K$ o algoritmo pode ser escrito em linguagem de programação Python como

de shift_data_variance(dados: se len(dados) < 2: retorno 0,0 KK = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = dadosNão.0] n = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = Ex. = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = Ex2 = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = 0,0 para x em dados: n - Sim. 1 Ex. - Sim. x - Não. KK Ex2 - Sim. (x - Não. KK) Não. 2 variância = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = (Ex2 - Não. Ex.Não.2 / n) / (n - Não. 1) # use n em vez de (n-1) se quiser calcular a variância exata dos dados dados fornecidos # use (n-1) se os dados são amostras de uma população maior retorno variância

Esta fórmula também facilita o cálculo incremental que pode ser expresso como

KK = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = Ex. = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = Ex2 = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = 0,0n = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = 0de add_variable(x: global global KK, n, Ex., Ex2 se n - Sim. 0: KK = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = x n - Sim. 1 Ex. - Sim. x - Não. KK Ex2 - Sim. (x - Não. KK) Não. 2de remove_variável(x: global global KK, n, Ex., Ex2 n - Sim. 1 Ex. - Sim. x - Não. KK Ex2 - Sim. (x - Não. KK) Não. 2de O que se passa?(): global global KK, n, Ex. retorno KK + Ex. / nde get_variance(): global global n, Ex., Ex2 retorno (Ex2 - Não. Ex.Não.2 / n) / (n - Não. 1)

Algoritmo de duas passagens

Uma abordagem alternativa, usando uma fórmula diferente para a variância, primeiro calcula a média da amostra,

{displaystyle {bar {x}}={frac {sum _{j=1}^{n}x_{j}}{n}},}

e então calcula a soma dos quadrados das diferenças da média,

{displaystyle {text{sample variance}}=s^{2}={dfrac {sum _{i=1}^{n}(x_{i}-{bar {x}})^{2}}{n-1}},}

onde s é o desvio padrão. Isso é dado pelo seguinte código:

de dois_pass_variância(dados: n = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = len(dados) significa = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = soma(dados) / n variância = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = soma(x - Não. significa) Não. 2 para x em dados] / (n - Não. 1) retorno variância

Este algoritmo é numericamente estável se n for pequeno. No entanto, os resultados de ambos os algoritmos simples ("ingênuo" e "duas passagens") podem depender excessivamente da ordem dos dados e podem fornecer resultados ruins para conjuntos de dados muito grandes devido a repetidos erros de arredondamento na acumulação das somas. Técnicas como a soma compensada podem ser usadas para combater esse erro até certo ponto.

Algoritmo online de Welford

Muitas vezes é útil para ser capaz de calcular a variância em um único passe, inspecionando cada valor $x_{i}$ apenas uma vez; por exemplo, quando os dados estão sendo coletados sem armazenamento suficiente para manter todos os valores, ou quando os custos de acesso à memória dominam os de computação. Para tal algoritmo on-line, uma relação de recorrência é necessária entre as quantidades das quais as estatísticas necessárias podem ser calculadas de forma numericamente estável.

As seguintes fórmulas podem ser usadas para atualizar a variância média e (estimada) da sequência, para um elemento adicional x_n. Toma. ${textstyle {overline {x}}_{n}={frac {1}{n}}sum _{i=1}^{n}x_{i}}$ denota a média da amostra do primeiro n amostras $(x_1,dots,x_n)$ , ${textstyle sigma _{n}^{2}={frac {1}{n}}sum _{i=1}^{n}left(x_{i}-{overline {x}}_{n}right)^{2}}$ sua variância de amostra tendenciosa, e ${textstyle s_{n}^{2}={frac {1}{n-1}}sum _{i=1}^{n}left(x_{i}-{overline {x}}_{n}right)^{2}}$ sua variância de amostra imparcial.

{displaystyle {bar {x}}_{n}={frac {(n-1),{bar {x}}_{n-1}+x_{n}}{n}}={bar {x}}_{n-1}+{frac {x_{n}-{bar {x}}_{n-1}}{n}}}

{displaystyle sigma _{n}^{2}={frac {(n-1),sigma _{n-1}^{2}+(x_{n}-{bar {x}}_{n-1})(x_{n}-{bar {x}}_{n})}{n}}=sigma _{n-1}^{2}+{frac {(x_{n}-{bar {x}}_{n-1})(x_{n}-{bar {x}}_{n})-sigma _{n-1}^{2}}{n}}.}

1}" xmlns="http://www.w3.org/1998/Math/MathML">Sn2= = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = =n- Sim. - Sim. 2n- Sim. - Sim. 1Sn- Sim. - Sim. 12+(xn- Sim. - Sim. x? ? n- Sim. - Sim. 1)2n= = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = =Sn- Sim. - Sim. 12+(xn- Sim. - Sim. x? ? n- Sim. - Sim. 1)2n- Sim. - Sim. Sn- Sim. - Sim. 12n- Sim. - Sim. 1,n>1Não. s_{n}^{2}={frac {n-2}{n-1}},s_{n-1}^{2}+{frac {(x_{n}-{bar {x}}_{n-1})^{2}}{n}}=s_{n-1}^{2}+{frac {(x_{n}-{bar {x}}_{n-1})^{2}}{n}}-{frac {s_{n-1}^{2}}{n-1}},quad n>1}1}" aria-hidden="true" class="mwe-math-fallback-image-inline" src="https://wikimedia.org/api/rest_v1/media/math/render/svg/d3f407c573792f57f6a8b9799e70d9b13193bdc2" style="vertical-align: -2.005ex; width:75.186ex; height:6.176ex;"/>

Estas fórmulas sofrem de instabilidade numérica, uma vez que repetidamente subtraem um pequeno número de um grande número que escala com n. Uma quantidade melhor para atualização é a soma de quadrados de diferenças da média atual, ${textstyle sum _{i=1}^{n}(x_{i}-{bar {x}}_{n})^{2}}$ , aqui denotado $M_{2,n}$ :

{displaystyle {begin{aligned}M_{2,n}&=M_{2,n-1}+(x_{n}-{bar {x}}_{n-1})(x_{n}-{bar {x}}_{n})\[4pt]sigma _{n}^{2}&={frac {M_{2,n}}{n}}\[4pt]s_{n}^{2}&={frac {M_{2,n}}{n-1}}end{aligned}}}

Este algoritmo foi encontrado por Welford, e foi completamente analisado. Também é comum denotar $M_k = bar x_k$ e $S_k = M_{2,k}$ .

Um exemplo de implementação do Python para o algoritmo de Welford é fornecido abaixo.

# Para um novo valorValue, compute a nova contagem, nova média, o novo M2.# significa acumula a média de todo o conjunto de dados# M2 agrega a distância quadrada da média# contagem agrega o número de amostras vistas até agorade atualização(existente Agrupamento, novo novo Valor: (contagem, significa, M2) = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = existente Agrupamento contagem - Sim. 1 delta = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = novo novo Valor - Não. significa significa - Sim. delta / contagem - Sim. = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = novo novo Valor - Não. significa M2 - Sim. delta * - Sim. retorno (contagem, significa, M2)# Recupere a variância média, variância e amostra de um agregadode finalizar(existente Agrupamento: (contagem, significa, M2) = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = existente Agrupamento se contagem < 2: retorno flutuar("nan") mais: (significa, variância, amostra Variação) = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = (significa, M2 / contagem, M2 / (contagem - Não. 1) retorno (significa, variância, amostra Variação)

Este algoritmo é muito menos propenso a perda de precisão devido ao cancelamento catastrófico, mas pode não ser tão eficiente por causa da operação de divisão dentro do loop. Para um algoritmo de duas passagens particularmente robusto para calcular a variância, pode-se primeiro calcular e subtrair uma estimativa da média e, em seguida, usar esse algoritmo nos resíduos.

O algoritmo paralelo abaixo ilustra como mesclar vários conjuntos de estatísticas calculadas online.

Algoritmo incremental ponderado

O algoritmo pode ser estendido para lidar com pesos amostrais desiguais, substituindo o contador simples n pela soma dos pesos vistos até agora. West (1979) sugere este algoritmo incremental:

de ponderado_incremental_variância(data_weight_pairs: Não. = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = Não. = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = significa = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = S = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = 0 para x, O quê? em data_weight_pairs: Não. = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = Não. + O quê? Não. = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = Não. + O quê?Não.2 Quer dizer... = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = significa significa = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = Quer dizer... + (O quê? / Não.) * (x - Não. Quer dizer...) S = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = S + O quê? * (x - Não. Quer dizer...) * (x - Não. significa) população_variância = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = S / Não. Correcção de Bessel para amostras ponderadas # Pesos de frequência sample_frequency_variance = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = S / (Não. - Não. 1) # Pesos de confiabilidade sample_reliability_variance = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = S / (Não. - Não. Não. / Não.)

Algoritmo paralelo

Chan et al. note que o algoritmo online de Welford detalhado acima é um caso especial de um algoritmo que funciona para combinar conjuntos arbitrários $A$ e $B$ :

{displaystyle {begin{aligned}n_{AB}&=n_{A}+n_{B}\delta &={bar {x}}_{B}-{bar {x}}_{A}\{bar {x}}_{AB}&={bar {x}}_{A}+delta cdot {frac {n_{B}}{n_{AB}}}\M_{2,AB}&=M_{2,A}+M_{2,B}+delta ^{2}cdot {frac {n_{A}n_{B}}{n_{AB}}}\end{aligned}}}

Isso pode ser útil quando, por exemplo, várias unidades de processamento podem ser atribuídas a partes discretas da entrada.

O método de Chan para estimar a média é numericamente instável quando $n_A approx n_B$ e ambos são grandes, porque o erro numérico em ${displaystyle delta ={bar {x}}_{B}-{bar {x}}_{A}}$ não é dimensionado para baixo no modo como ele está no $n_B = 1$ Caso. Em tais casos, prefira ${textstyle {bar {x}}_{AB}={frac {n_{A}{bar {x}}_{A}+n_{B}{bar {x}}_{B}}{n_{AB}}}}$ .

de paralelo_variância(Não., avg_a, M2_a, Não., avg_b, M2_b: n = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = Não. + Não. delta = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = avg_b - Não. avg_a M2 = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = M2_a + M2_b + deltaNão.2 * Não. * Não. / n Não. = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = M2 / (n - Não. 1) retorno Não.

Isso pode ser generalizado para permitir a paralelização com AVX, com GPUs e clusters de computador e para covariância.

Exemplo

Assuma que todas as operações de ponto flutuante usam aritmética de precisão dupla padrão IEEE 754. Considere a amostra (4, 7, 13, 16) de uma população infinita. Com base nessa amostra, a média estimada da população é 10 e a estimativa imparcial da variância da população é 30. Tanto o algoritmo ingênuo quanto o algoritmo de duas passagens calculam esses valores corretamente.

Em seguida, considere a amostra (10⁸ + 4, 10⁸ + 7, 10⁸ + 13, 10⁸ + 16), que dá origem à mesma variância estimada da primeira amostra. O algoritmo de duas passagens calcula essa estimativa de variância corretamente, mas o algoritmo ingênuo retorna 29,333333333333332 em vez de 30.

Embora essa perda de precisão possa ser tolerável e vista como uma pequena falha do algoritmo ingênuo, aumentar ainda mais o deslocamento torna o erro catastrófico. Considere a amostra (10⁹ + 4, 10⁹ + 7, 10⁹ + 13, 10⁹ + 16). Novamente, a variância populacional estimada de 30 é calculada corretamente pelo algoritmo de duas passagens, mas o algoritmo ingênuo agora a calcula como −170,66666666666666. Este é um problema sério com o algoritmo ingênuo e se deve ao cancelamento catastrófico na subtração de dois números semelhantes no estágio final do algoritmo.

Estatísticas de ordem superior

Terriberry estende as fórmulas de Chan para calcular o terceiro e quarto momentos centrais, necessários, por exemplo, ao estimar assimetria e curtose:

{displaystyle {begin{aligned}M_{3,X}=M_{3,A}+M_{3,B}&{}+delta ^{3}{frac {n_{A}n_{B}(n_{A}-n_{B})}{n_{X}^{2}}}+3delta {frac {n_{A}M_{2,B}-n_{B}M_{2,A}}{n_{X}}}\[6pt]M_{4,X}=M_{4,A}+M_{4,B}&{}+delta ^{4}{frac {n_{A}n_{B}left(n_{A}^{2}-n_{A}n_{B}+n_{B}^{2}right)}{n_{X}^{3}}}\[6pt]&{}+6delta ^{2}{frac {n_{A}^{2}M_{2,B}+n_{B}^{2}M_{2,A}}{n_{X}^{2}}}+4delta {frac {n_{A}M_{3,B}-n_{B}M_{3,A}}{n_{X}}}end{aligned}}}

Aqui está. $M_k$ são novamente as somas de poderes das diferenças da média ${textstyle sum (x-{overline {x}})^{k}}$ , dando

{displaystyle {begin{aligned}&{text{skewness}}=g_{1}={frac {{sqrt {n}}M_{3}}{M_{2}^{3/2}}},\[4pt]&{text{kurtosis}}=g_{2}={frac {nM_{4}}{M_{2}^{2}}}-3.end{aligned}}}

Para o caso incremental (i.e., $B = {x}$ ), isso simplifica para:

{displaystyle {begin{aligned}delta &=x-m\[5pt]m'&=m+{frac {delta }{n}}\[5pt]M_{2}'&=M_{2}+delta ^{2}{frac {n-1}{n}}\[5pt]M_{3}'&=M_{3}+delta ^{3}{frac {(n-1)(n-2)}{n^{2}}}-{frac {3delta M_{2}}{n}}\[5pt]M_{4}'&=M_{4}+{frac {delta ^{4}(n-1)(n^{2}-3n+3)}{n^{3}}}+{frac {6delta ^{2}M_{2}}{n^{2}}}-{frac {4delta M_{3}}{n}}end{aligned}}}

Ao preservar o valor $delta / n$ , apenas uma operação de divisão é necessária e as estatísticas de maior ordem podem assim ser calculadas para pouco custo incremental.

Um exemplo do algoritmo online para curtose implementado conforme descrito é:

de on-line _ Curtosis(dados: n = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = significa = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = M2 = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = M3 = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = M4 = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = 0 para x em dados: N° 1 = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = n n = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = n + 1 delta = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = x - Não. significa Não. = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = delta / n O que foi? = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = Não.Não.2 termo1 = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = delta * Não. * N° 1 significa = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = significa + Não. M4 = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = M4 + termo1 * O que foi? * (nNão.2 - Não. 3*n + 3) + 6 * O que foi? * M2 - Não. 4 * Não. * M3 M3 = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = M3 + termo1 * Não. * (n - Não. 2) - Não. 3 * Não. * M2 M2 = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = M2 + termo1 # Nota, você também pode calcular variância usando M2 e cegueira usando M3 Cuidado: Se todas as entradas são as mesmas, M2 será 0, resultando em uma divisão por 0. kurtosis = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = (n * M4) / (M2Não.2) - Não. 3 retorno kurtosis

Pébaÿ estende ainda mais esses resultados para momentos centrais de ordem arbitrária, para os casos incremental e pairwise, e subsequentemente Pébaÿ et al. para momentos ponderados e compostos. Pode-se também encontrar fórmulas semelhantes para covariância.

Choi e Sweetman oferecem dois métodos alternativos para calcular a assimetria e a curtose, cada um dos quais pode economizar requisitos substanciais de memória do computador e tempo de CPU em determinados aplicativos. A primeira abordagem é calcular os momentos estatísticos separando os dados em compartimentos e, em seguida, calculando os momentos da geometria do histograma resultante, que efetivamente se torna um algoritmo de uma passagem para momentos mais altos. Um benefício é que os cálculos do momento estatístico podem ser realizados com precisão arbitrária, de modo que os cálculos possam ser ajustados para a precisão de, por exemplo, o formato de armazenamento de dados ou o hardware de medição original. Um histograma relativo de uma variável aleatória pode ser construído da maneira convencional: o intervalo de valores potenciais é dividido em caixas e o número de ocorrências dentro de cada caixa é contado e plotado de forma que a área de cada retângulo seja igual à porção dos valores da amostra dentro dessa caixa:

H(x_k)=frac{h(x_k)}{A}

Onde? $h(x_k)$ e $H(x_k)$ representar a frequência e a frequência relativa no bin $x_{k}$ e ${textstyle A=sum _{k=1}^{K}h(x_{k}),Delta x_{k}}$ é a área total do histograma. Após esta normalização, a $n$ momentos crus e momentos centrais de $x(t)$ pode ser calculado a partir do histograma relativo:

{displaystyle m_{n}^{(h)}=sum _{k=1}^{K}x_{k}^{n}H(x_{k}),Delta x_{k}={frac {1}{A}}sum _{k=1}^{K}x_{k}^{n}h(x_{k}),Delta x_{k}}

{displaystyle theta _{n}^{(h)}=sum _{k=1}^{K}{Big (}x_{k}-m_{1}^{(h)}{Big)}^{n},H(x_{k}),Delta x_{k}={frac {1}{A}}sum _{k=1}^{K}{Big (}x_{k}-m_{1}^{(h)}{Big)}^{n}h(x_{k}),Delta x_{k}}

onde o superscrito $^{(h)}$ indica que os momentos são calculados a partir do histograma. Para a largura constante do bin ${displaystyle Delta x_{k}=Delta x}$ estas duas expressões podem ser simplificadas usando $I= A/Delta x$ :

{displaystyle m_{n}^{(h)}={frac {1}{I}}sum _{k=1}^{K}x_{k}^{n},h(x_{k})}

{displaystyle theta _{n}^{(h)}={frac {1}{I}}sum _{k=1}^{K}{Big (}x_{k}-m_{1}^{(h)}{Big)}^{n}h(x_{k})}

A segunda abordagem de Choi e Sweetman é uma metodologia analítica para combinar momentos estatísticos de segmentos individuais de uma história temporal, de modo que os momentos gerais resultantes sejam os da história temporal completa. Esta metodologia pode ser utilizada para cálculos paralelos de momentos estatísticos com posterior combinação desses momentos, ou para combinação de momentos estatísticos computados em tempos sequenciais.

Se $Q$ conjuntos de momentos estatísticos são conhecidos: $(gamma_{0,q},mu_{q},sigma^2_{q},alpha_{3,q},alpha_{4,q}) quad$ para ${displaystyle q=1,2,ldotsQ}$ , então cada $gamma _{n}$ pode ser ser expresso em termos de equivalente $n$ momentos crus:

{displaystyle gamma _{n,q}=m_{n,q}gamma _{0,q}qquad quad {textrm {for}}quad n=1,2,3,4quad {text{ and }}quad q=1,2,dotsQ}

Onde? $gamma_{0,q}$ é geralmente tomado para ser a duração da $q^{th}$ história do tempo, ou o número de pontos se $Delta t$ é constante.

O benefício de expressar os momentos estatísticos em termos de $gamma$ é que $Q$ conjuntos podem ser combinados por adição, e não há limite superior no valor de $Q$ .

{displaystyle gamma _{n,c}=sum _{q=1}^{Q}gamma _{n,q}quad quad {text{for }}n=0,1,2,3,4}

onde o subscrito $_c$ representa o tempo-história concatenado ou combinado $gamma$ . Estes valores combinados $gamma$ pode então ser inversamente transformado em momentos crus que representam a história completa do tempo concatenado

{displaystyle m_{n,c}={frac {gamma _{n,c}}{gamma _{0,c}}}quad {text{for }}n=1,2,3,4}

Relações conhecidas entre os momentos crus ( $m_{n}$ ) e os momentos centrais ( ${displaystyle theta _{n}=operatorname {E} [(x-mu)^{n}])}$ ) são então usados para calcular os momentos centrais da história do tempo concatenado. Finalmente, os momentos estatísticos da história concatenada são calculados a partir dos momentos centrais:

{displaystyle mu _{c}=m_{1,c}qquad sigma _{c}^{2}=theta _{2,c}qquad alpha _{3,c}={frac {theta _{3,c}}{sigma _{c}^{3}}}qquad alpha _{4,c}={frac {theta _{4,c}}{sigma _{c}^{4}}}-3}

Covariância

Algoritmos muito semelhantes podem ser usados para calcular a covariância.

Algoritmo ingênuo

O algoritmo ingênuo é

{displaystyle operatorname {Cov} (X,Y)={frac {sum _{i=1}^{n}x_{i}y_{i}-(sum _{i=1}^{n}x_{i})(sum _{i=1}^{n}y_{i})/n}{n}}.}

Para o algoritmo acima, pode-se usar o seguinte código Python:

de inive_covariância(data1, dados2: n = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = len(data1) soma1 = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = soma(data1) soma2 = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = soma(dados2) soma12 = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = soma(I * I2 para I, I2 em zip(data1, dados2)] covariância = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = (soma12 - Não. soma1 * soma2 / n) / n retorno covariância

Com estimativa da média

Quanto à variância, a covariância de duas variáveis aleatórias também é invariante de deslocamento, portanto, dada qualquer dois valores constantes $k_x$ e ${displaystyle k_{y},}$ pode ser escrito:

{displaystyle operatorname {Cov} (X,Y)=operatorname {Cov} (X-k_{x},Y-k_{y})={dfrac {sum _{i=1}^{n}(x_{i}-k_{x})(y_{i}-k_{y})-(sum _{i=1}^{n}(x_{i}-k_{x}))(sum _{i=1}^{n}(y_{i}-k_{y}))/n}{n}}.}

e escolher novamente um valor dentro do intervalo de valores irá estabilizar a fórmula contra o cancelamento catastrófico, bem como torná-la mais robusta contra grandes somas. Tomando o primeiro valor de cada conjunto de dados, o algoritmo pode ser escrito como:

de shifted_data_covariância(data_x, data_y: n = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = len(data_x) se n < 2: retorno 0 kx = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = data_xNão.0] ky = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = data_yNão.0] Ex. = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = E... = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = Ex! = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = 0 para ix, Olá. em zip(data_x, data_y: Ex. - Sim. ix - Não. kx E... - Sim. Olá. - Não. ky Ex! - Sim. (ix - Não. kx) * (Olá. - Não. ky) retorno (Ex! - Não. Ex. * E... / n) / n

Duas passagens

O algoritmo de duas passagens primeiro calcula as médias da amostra e, em seguida, a covariância:

{displaystyle {bar {x}}=sum _{i=1}^{n}x_{i}/n}

{displaystyle {bar {y}}=sum _{i=1}^{n}y_{i}/n}

{displaystyle operatorname {Cov} (X,Y)={frac {sum _{i=1}^{n}(x_{i}-{bar {x}})(y_{i}-{bar {y}})}{n}}.}

O algoritmo de duas passagens pode ser escrito como:

de dois_pass_covariância(data1, dados2: n = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = len(data1) Quer dizer... = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = soma(data1) / n média2 = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = soma(dados2) / n covariância = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = 0 para I, I2 em zip(data1, dados2: um = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = I - Não. Quer dizer... b) = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = I2 - Não. média2 covariância - Sim. um * b) / n retorno covariância

Uma versão compensada ligeiramente mais precisa executa o algoritmo ingênuo completo nos resíduos. As somas finais ${textstyle sum_i x_i}$ e ${textstyle sum _{i}y_{i}}$ deve ser zero, mas o segundo passe compensa qualquer erro pequeno.

On-line

Existe um algoritmo estável de uma passagem, semelhante ao algoritmo online para computar a variância, que computa o co-momento ${textstyle C_{n}=sum _{i=1}^{n}(x_{i}-{bar {x}}_{n})(y_{i}-{bar {y}}_{n})}$ :

{displaystyle {begin{alignedat}{2}{bar {x}}_{n}&={bar {x}}_{n-1}&,+,&{frac {x_{n}-{bar {x}}_{n-1}}{n}}\[5pt]{bar {y}}_{n}&={bar {y}}_{n-1}&,+,&{frac {y_{n}-{bar {y}}_{n-1}}{n}}\[5pt]C_{n}&=C_{n-1}&,+,&(x_{n}-{bar {x}}_{n})(y_{n}-{bar {y}}_{n-1})\[5pt]&=C_{n-1}&,+,&(x_{n}-{bar {x}}_{n-1})(y_{n}-{bar {y}}_{n})end{alignedat}}}

A aparente assimetria nessa última equação é devido ao fato de que ${textstyle (x_{n}-{bar {x}}_{n})={frac {n-1}{n}}(x_{n}-{bar {x}}_{n-1})}$ , então ambos os termos de atualização são iguais a ${textstyle {frac {n-1}{n}}(x_{n}-{bar {x}}_{n-1})(y_{n}-{bar {y}}_{n-1})}$ . Mesmo maior precisão pode ser alcançada pela primeira computação os meios, então usando o algoritmo de uma passagem estável nos resíduos.

Assim, a covariância pode ser calculada como

{displaystyle {begin{aligned}operatorname {Cov} _{N}(X,Y)={frac {C_{N}}{N}}&={frac {operatorname {Cov} _{N-1}(X,Y)cdot (N-1)+(x_{n}-{bar {x}}_{n})(y_{n}-{bar {y}}_{n-1})}{N}}\&={frac {operatorname {Cov} _{N-1}(X,Y)cdot (N-1)+(x_{n}-{bar {x}}_{n-1})(y_{n}-{bar {y}}_{n})}{N}}\&={frac {operatorname {Cov} _{N-1}(X,Y)cdot (N-1)+{frac {N-1}{N}}(x_{n}-{bar {x}}_{n-1})(y_{n}-{bar {y}}_{n-1})}{N}}\&={frac {operatorname {Cov} _{N-1}(X,Y)cdot (N-1)+{frac {N}{N-1}}(x_{n}-{bar {x}}_{n})(y_{n}-{bar {y}}_{n})}{N}}.end{aligned}}}

de online_covariância(data1, dados2: - Sim. = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = Quero dizer... = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = C = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = n = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = 0 para x, Sim. em zip(data1, dados2: n - Sim. 1 Dx = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = x - Não. - Sim. - Sim. - Sim. Dx / n Quero dizer... - Sim. (Sim. - Não. Quero dizer...) / n C - Sim. Dx * (Sim. - Não. Quero dizer...) populacional_covar = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = C / n Correção de Bessel para variância de amostra sample_covar = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = C / (n - Não. 1)

Uma pequena modificação também pode ser feita para calcular a covariância ponderada:

de online_weighted_covariância(data1, dados2, dados3: - Sim. = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = Quero dizer... = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = 0 - Sim. = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = - Sim. = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = 0 C = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = 0 para x, Sim., O quê? em zip(data1, dados2, dados3: - Sim. - Sim. O quê? - Sim. - Sim. O quê? * O quê? Dx = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = x - Não. - Sim. - Sim. - Sim. (O quê? / - Sim.) * Dx Quero dizer... - Sim. (O quê? / - Sim.) * (Sim. - Não. Quero dizer...) C - Sim. O quê? * Dx * (Sim. - Não. Quero dizer...) populacional_covar = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = C / - Sim. Correção de Bessel para variância de amostra # Pesos de frequência sample_frequency_covar = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = C / (- Sim. - Não. 1) # Pesos de confiabilidade sample_reliability_covar = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = C / (- Sim. - Não. - Sim. / - Sim.)

Da mesma forma, existe uma fórmula para combinar as covariâncias de dois conjuntos que pode ser usada para paralelizar o cálculo:

{displaystyle C_{X}=C_{A}+C_{B}+({bar {x}}_{A}-{bar {x}}_{B})({bar {y}}_{A}-{bar {y}}_{B})cdot {frac {n_{A}n_{B}}{n_{X}}}.}

Versão em lote ponderada

Uma versão do algoritmo on-line ponderado que faz lotes atualizados também existe: deixe ${displaystyle w_{1},dots w_{N}}$ denote os pesos, e escreva

{displaystyle {begin{alignedat}{2}{bar {x}}_{n+k}&={bar {x}}_{n}&,+,&{frac {sum _{i=n+1}^{n+k}w_{i}(x_{i}-{bar {x}}_{n})}{sum _{i=1}^{n+k}w_{i}}}\{bar {y}}_{n+k}&={bar {y}}_{n}&,+,&{frac {sum _{i=n+1}^{n+k}w_{i}(y_{i}-{bar {y}}_{n})}{sum _{i=1}^{n+k}w_{i}}}\C_{n+k}&=C_{n}&,+,&sum _{i=n+1}^{n+k}w_{i}(x_{i}-{bar {x}}_{n+k})(y_{i}-{bar {y}}_{n})\&=C_{n}&,+,&sum _{i=n+1}^{n+k}w_{i}(x_{i}-{bar {x}}_{n})(y_{i}-{bar {y}}_{n+k})\end{alignedat}}}

A covariância pode então ser calculada como

{displaystyle operatorname {Cov} _{N}(X,Y)={frac {C_{N}}{sum _{i=1}^{N}w_{i}}}}

Contenido relacionado

Más resultados...

Algoritmos para calcular variância

Algoritmo ingênuo

Calculando dados deslocados

Algoritmo de duas passagens

Algoritmo online de Welford

Algoritmo incremental ponderado

Algoritmo paralelo

Exemplo

Estatísticas de ordem superior

Covariância

Algoritmo ingênuo

Com estimativa da média

Duas passagens

On-line

Versão em lote ponderada

Contenido relacionado

John Horton Conway

Instituto de Matemática Clay

Desigualdade de Bernoulli