共分散(covariance)

共分散(covariance)

$$ \begin{eqnarray} \mathrm{Cov}\left[X,Y\right]&=&\mathrm{E}\left[\left(X-\mathrm{E}\left[X\right]\right)\left(Y-\mathrm{E}\left[Y\right]\right)\right]\;\cdots\;共分散(covariance) \\ \mathrm{Cov}\left[c_0X_i, c_1X_j\right] &=&\mathrm{E}\left[\left( c_0X_i-\mathrm{E}\left[c_0X_i\right] \right)\left( c_1X_j-\mathrm{E}\left[c_1X_j\right] \right) \right] \;\cdots\;\mathrm{Cov}\left[X,Y\right]=\mathrm{E}\left[\left(X-\mathrm{E}\left[X\right]\right)\left(Y-\mathrm{E}\left[Y\right]\right)\right] \\&=&\mathrm{E}\left[\left( c_0X_i-c_0\mathrm{E}\left[\bar{X}\right] \right)\left( c_1X_j-c_1\mathrm{E}\left[\bar{X}\right] \right) \right] \;\cdots\;\href{https://shikitenkai.blogspot.com/2019/06/discrete-random-variable-expected-value.html}{\mathrm{E}\left[cX\right]=c\mathrm{E}\left[X\right]} \\&=&\mathrm{E}\left[ c_0\left(X_i-\mathrm{E}\left[\bar{X}\right]\right) c_1\left(X_j-\mathrm{E}\left[\bar{X}\right]\right) \right] \\&=&c_0c_1\mathrm{E}\left[ \left(X_i-\mathrm{E}\left[\bar{X}\right]\right) \left(X_j-\mathrm{E}\left[\bar{X}\right]\right) \right] \;\cdots\;\href{https://shikitenkai.blogspot.com/2019/06/discrete-random-variable-expected-value.html}{\mathrm{E}\left[cX\right]=c\mathrm{E}\left[X\right]} \\&=&c_0c_1\mathrm{Cov}\left[X_i,X_j\right] \\ \mathrm{V}\left[\sum_{i=1}^{n}X_i\right] &=&\mathrm{V}\left[X_1+\cdots+X_i+\cdots+X_n\right] \\&=&\mathrm{E}\left[\left\{\left(X_1+\cdots+X_i+\cdots+X_n\right)-\mathrm{E}\left[X_1+\cdots+X_i+\cdots+X_n\right]\right\}^2\right] \\&=&\mathrm{E}\left[\left\{X_1+\cdots+X_i+\cdots+X_n-\mathrm{E}\left[X_1\right]-\cdots-\mathrm{E}\left[X_i\right]-\cdots-\mathrm{E}\left[X_n\right]\right\}^2\right] \\&=&\mathrm{E}\left[\left\{\left(X_1-\mathrm{E}\left[X_1\right]\right)+\cdots+\left(X_i-\mathrm{E}\left[X_i\right]\right)+\cdots+\left(X_n-\mathrm{E}\left[X_n\right]\right)\right\}^2\right] \\&=&\mathrm{E}\left[ \left(X_1-\mathrm{E}\left[X_1\right]\right)^2+\cdots+\left(X_1-\mathrm{E}\left[X_1\right]\right)\left(X_j-\mathrm{E}\left[X_j\right]\right)+\cdots+\left(X_1-\mathrm{E}\left[X_1\right]\right)\left(X_n-\mathrm{E}\left[X_n\right]\right) \\+\cdots+\left(X_i-\mathrm{E}\left[X_i\right]\right)\left(X_1-\mathrm{E}\left[X_1\right]\right)+\cdots+\left(X_i-\mathrm{E}\left[X_i\right]\right)\left(X_j-\mathrm{E}\left[X_j\right]\right)+\cdots+\left(X_i-\mathrm{E}\left[X_i\right]\right)\left(X_n-\mathrm{E}\left[X_n\right]\right) \\+\cdots+\left(X_n-\mathrm{E}\left[X_n\right]\right)\left(X_1-\mathrm{E}\left[X_1\right]\right)+\cdots+\left(X_n-\mathrm{E}\left[X_n\right]\right)\left(X_j-\mathrm{E}\left[X_j\right]\right)+\cdots+\left(X_n-\mathrm{E}\left[X_n\right]\right)^2 \right] \\&=&\mathrm{E}\left[\left(X_1-\mathrm{E}\left[X_1\right]\right)^2\right] +\cdots+\mathrm{E}\left[\left(X_1-\mathrm{E}\left[X_1\right]\right)\left(X_j-\mathrm{E}\left[X_j\right]\right)\right] +\cdots+\mathrm{E}\left[\left(X_1-\mathrm{E}\left[X_1\right]\right)\left(X_n-\mathrm{E}\left[X_n\right]\right)\right] \\&&+\cdots+\mathrm{E}\left[\left(X_i-\mathrm{E}\left[X_i\right]\right)\left(X_1-\mathrm{E}\left[X_1\right]\right)\right] +\cdots+\mathrm{E}\left[\left(X_i-\mathrm{E}\left[X_i\right]\right)\left(X_j-\mathrm{E}\left[X_j\right]\right)\right] +\cdots+\mathrm{E}\left[\left(X_i-\mathrm{E}\left[X_i\right]\right)\left(X_n-\mathrm{E}\left[X_n\right]\right)\right] \\&&+\cdots+\mathrm{E}\left[\left(X_n-\mathrm{E}\left[X_n\right]\right)\left(X_1-\mathrm{E}\left[X_1\right]\right)\right] +\cdots+\mathrm{E}\left[\left(X_n-\mathrm{E}\left[X_n\right]\right)\left(X_j-\mathrm{E}\left[X_j\right]\right)\right] +\cdots+\mathrm{E}\left[\left(X_n-\mathrm{E}\left[X_n\right]\right)^2\right] \\&&\;\cdots\;\href{https://shikitenkai.blogspot.com/2019/06/discrete-random-variable-expected-value.html}{\mathrm{E}\left[X+Y\right]=\mathrm{E}\left[X\right]+\mathrm{E}\left[Y\right]} \\&=&\mathrm{Cov}\left[X_1,X_1\right] +\cdots+\mathrm{Cov}\left[X_1,X_j\right] +\cdots+\mathrm{Cov}\left[X_1,X_n\right] \\&&+\cdots+\mathrm{Cov}\left[X_i,X_1\right] +\cdots+\mathrm{Cov}\left[X_i,X_j\right] +\cdots+\mathrm{Cov}\left[X_i,X_n\right] \\&&+\cdots+\mathrm{Cov}\left[X_n,X_1\right] +\cdots+\mathrm{Cov}\left[X_n,X_j\right] +\cdots+\mathrm{Cov}\left[X_n,X_n\right] \\&=&\sum_{i=1}^{n}\sum_{j=1}^{n}\mathrm{Cov}\left[X_i,X_j\right] \\&&\;\cdots\;\mathrm{E}\left[\left(X_i-\mathrm{E}\left[X_i\right]\right)\left(X_j-\mathrm{E}\left[X_j\right]\right)\right]=\mathrm{Cov}\left[X_i,X_j\right] \\&=&\sum_{i=1}^{n}\mathrm{Cov}\left[X_i,X_i\right]+2\sum_{i\lt j}\mathrm{Cov}\left[X_i, X_j\right] \\&&\;\cdots\;\mathrm{Cov}の項は\mathrm{Cov}\left[X_i, X_j\right]=\mathrm{Cov}\left[X_j, X_i\right]でi\lt jとi\gt jで2回あるので2倍 \\&=&\sum_{i=1}^{n}\mathrm{V}\left[X_i\right]+2\sum_{i\lt j}\mathrm{Cov}\left[X_i, X_j\right] \\&&\;\cdots\;\mathrm{Cov}\left[X_i,X_i\right]=\mathrm{V}\left[X_i\right] \end{eqnarray} $$