Sxxの式展開
\(S_{xx}\)の式展開
$$ \begin{eqnarray} S_{xx}&=&\sum_{i=1}^n\left(x_i-\bar{x}\right)^2 \\&=&\sum_{i=1}^n\left\{x_i^2-2\bar{x}x_i+\bar{x}^2\right\} \\&=&\sum_{i=1}^nx_i^2-2\bar{x}\sum_{i=1}^nx_i+\bar{x}^2\sum_{i=1}^n1 \\&=&\sum_{i=1}^nx_i^2-2\bar{x}n\bar{x}+\bar{x}^2n \\&=&\sum_{i=1}^nx_i^2-2n\bar{x}^2+n\bar{x}^2 \\&=&\sum_{i=1}^nx_i^2-n\bar{x}^2 \end{eqnarray} $$Sxyの式展開
\(Sxy\)の式展開
$$ \begin{eqnarray} S_{xy}&=&\sum_{i=1}^n\left(x_i-\bar{x}\right)\left(y_i-\bar{y}\right) \\&=&\sum_{i=1}^n\left\{ \left(x_i-\bar{x}\right)y_i -\left(x_i-\bar{x}\right)\bar{y} \right\} \\&=&\sum_{i=1}^n\left(x_i-\bar{x}\right)y_i-\bar{y}\sum_{i=1}^n\left(x_i-\bar{x}\right) \\&=&\sum_{i=1}^n\left(x_i-\bar{x}\right)y_i-\bar{y}\left(\sum_{i=1}^nx_i-\bar{x}\sum_{i=1}^n1\right) \\&=&\sum_{i=1}^n\left(x_i-\bar{x}\right)y_i-\bar{y}\left(n\bar{x}-\bar{x}n\right) \;\cdots\;\bar{x}=\frac{1}{n}\sum_{i=1}^nx_i,\;n\bar{x}=\sum_{i=1}^nx_i \\&=&\sum_{i=1}^n\left(x_i-\bar{x}\right)y_i-\bar{y}\cdot0 \\&=&\sum_{i=1}^n\left(x_i-\bar{x}\right)y_i \\&=&\sum_{i=1}^nx_iy_i-\bar{x}\sum_{i=1}^ny_i \\&=&\sum_{i=1}^nx_iy_i-\bar{x}n\bar{y} \\&=&\sum_{i=1}^nx_iy_i-n\bar{x}\bar{y} \end{eqnarray} $$単回帰モデルの最良線形不偏推定量 α編
単回帰モデルの最良線形不偏推定量 \(\alpha\)編
単回帰モデル
$$ \begin{eqnarray} y_i&=&\alpha+\beta x_i +\epsilon_i\;(i=1,\cdots,n)\;\dots\;\epsilon_i \overset{iid}{\sim} \mathrm{N}\left(0,\sigma^2\right) \end{eqnarray} $$単回帰モデルに対する線形推定量の期待値
単回帰モデルの線形推定量に対して期待値を求めると，以下のように式展開される． $$ \begin{eqnarray} \mathrm{E}\left[\sum_{i=1}^n c_iy_i\right] &=&\mathrm{E}\left[\sum_{i=1}^n c_i\left(\alpha+\beta x_i +\epsilon_i\right)\right] \;\cdots\;y_i=\alpha+\beta x_i +\epsilon_i \\&=&\mathrm{E}\left[\sum_{i=1}^n c_i\alpha+\sum_{i=1}^nc_i\beta x_i +\sum_{i=1}^nc_i\epsilon_i\right] \;\cdots\;\sum\left(A+B\right)=\sum A+\sum B \\&=&\mathrm{E}\left[\alpha\sum_{i=1}^n c_i+\beta\sum_{i=1}^nc_i x_i +\sum_{i=1}^nc_i\epsilon_i\right] \;\cdots\;\sum cA=c\sum A \\&=&\alpha\sum_{i=1}^n c_i+\beta\sum_{i=1}^nc_i x_i +\mathrm{E}\left[\sum_{i=1}^nc_i\epsilon_i\right] \;\cdots\;\mathrm{E}\left[X+t\right]=\mathrm{E}\left[X\right]+t \\&=&\alpha\sum_{i=1}^n c_i+\beta\sum_{i=1}^nc_i x_i +\sum_{i=1}^n\mathrm{E}\left[c_i\epsilon_i\right] \;\cdots\;\mathrm{E}\left[\sum_{i=1}^n X_i\right]=\mathrm{E}\left[X_1+\cdots+X_n\right]=\mathrm{E}\left[X_1\right]+\cdots+\mathrm{E}\left[X_n\right]=\sum_{i=1}^n\mathrm{E}\left[X_i\right]\\&=&\alpha\sum_{i=1}^n c_i+\beta\sum_{i=1}^nc_i x_i +\sum_{i=1}^nc_i\mathrm{E}\left[\epsilon_i\right] \;\cdots\;\mathrm{E}\left[cX\right]=c\mathrm{E}\left[X\right] \\&=&\alpha\sum_{i=1}^n c_i+\beta\sum_{i=1}^nc_i x_i +\sum_{i=1}^nc_i\cdot0 \;\cdots\;\mathrm{E}\left[\epsilon_i\right]=0 \\&=&\alpha\sum_{i=1}^n c_i+\beta\sum_{i=1}^nc_i x_i \end{eqnarray} $$単回帰モデルに対する線形推定量の分散
$$ \begin{eqnarray} \mathrm{V}\left[\sum_{i=1}^n c_iy_i\right]&=&\sum_{i=1}^n \mathrm{V}\left[c_iy_i\right] \\&=&\sum_{i=1}^n c_i^2\mathrm{V}\left[y_i\right] \\&=&\sum_{i=1}^n c_i^2\sigma^2 \\&=&\sigma^2\sum_{i=1}^n c_i^2 \end{eqnarray} $$\(\alpha\)の線形推定量
単回帰モデルの推定量\(\alpha\)の線形推定量を\(\tilde{\alpha}\)とすると，この期待値は以下のように求められる． $$ \begin{eqnarray} \mathrm{E}\left[\tilde{\alpha}\right]&=&\mathrm{E}\left[\sum_{i=1}^n c_iy_i\right] \;\cdots\;線形推定量とする仮定より\tilde{\alpha}=\sum_{i=1}^n c_iy_i \\&=&\alpha\sum_{i=1}^n c_i+\beta\sum_{i=1}^nc_i x_i \end{eqnarray} $$ この\(\tilde{\alpha}\)が不偏推定量であるためには上記の\(\tilde{\alpha}\)の期待値が\(\alpha\)である必要がある.よって式展開した結果の\(\alpha,\beta\)の係数である\(\sum_{i=1}^n c_i,\sum_{i=1}^n c_ix_i\)が以下の条件を満たす必要があるが， 逆に条件を満たせば不偏推定量である． $$ \begin{eqnarray} \left\{ \begin{array} \\\sum_{i=1}^n c_i&=&1 \\\sum_{i=1}^nc_i x_i&=&0 \end{array} \right. \end{eqnarray} $$ 不偏推定量となる線形推定量\(\tilde{\alpha}\)の中で分散\(\sigma^2\sum_{i=1}^n c_i^2\)が最小となるものを 最良線形不偏推定量(best linear unbiased estimator; BLUE)と呼ぶ．ここでは\(\hat{\alpha}_{BLUE}\)と表すこととする． $$ \begin{eqnarray} \left\{ \begin{array} \\f(c_1,\cdots,c_n)&=&\sigma^2\sum_{i=1}^nc_i^2&&最小&目的凾数 \\g(c_1,\cdots,c_n)&=&\sum_{i=1}^n c_i-1&=&0&制約条件 \\h(c_1,\cdots,c_n)&=&\sum_{i=1}^nc_i x_i&=&0&制約条件 \end{array} \right. \end{eqnarray} $$
\(\hat{\alpha}_{BLUE}\)の最良線形不偏推定量を求める
ラグランジュの未定乗数法を用いる．束縛条件に係数をかけて目的凾数と線形結合した式を作成する． $$ \begin{eqnarray} L&=&L(c_1,\cdots,c_n,\lambda,\mu) \\&=&f(c_1,\cdots,c_n)+\lambda g(c_1,\cdots,c_n) + \mu h(c_1,\cdots,c_n) \\&=&\sigma^2\left(\sum_{i=1}^nc_i^2\right)+\lambda\left(\sum_{i=1}^n c_i-1\right)+\mu\left(\sum_{i=1}^n c_ix_i\right) \end{eqnarray} $$ \(L\)を各変数\(c_i\)で微分したものを連立させる． $$ \begin{eqnarray} \frac{\partial L}{\partial c_i}&=&0&(i=1,\cdots,n) \\2\sigma^2c_i+\lambda+\mu x_i&=&0&(i=1,\cdots,n)&\;\cdots\;Lをc_iで微分したn個の等式ができる\cdots式A \end{eqnarray} $$ 連立させた式をまとめた式を一つ作る(その1)． $$ \begin{eqnarray} 2\sigma^2\sum_{i=1}^n c_i+\lambda \sum_{i=1}^n 1+\mu \sum_{i=1}^n x_i &=&0&&\;\cdots\;式Aをiについて和をとった \\2\sigma^2\sum_{i=1}^n c_i+\lambda \cdot n+\mu n\bar{x} &=&0&&\;\cdots\;\sum_{i=1}^n 1=n,\;\sum_{i=1}^nx_i=n\bar{x} \\2\sigma^2\cdot 1+\lambda \cdot n+\mu n\bar{x} &=&0&&\;\cdots\;\sum_{i=1}^n c_i=1(制約条件) \\2\sigma^2+\lambda n+\mu n\bar{x} &=&0 \end{eqnarray} $$ 連立させた式をまとめた式を一つ作る(その2)． $$ \begin{eqnarray} c_i\left(2\sigma^2c_i+\lambda+\mu x_i\right)&=&c_i 0&(i=1,\cdots,n)&\;\cdots\;式Aを両辺c_i倍した \\2\sigma^2c_i^2+\lambda c_i+\mu c_ix_i &=&0&(i=1,\cdots,n) \\2\sigma^2\sum_{i=1}^n c_i^2+\lambda \sum_{i=1}^n c_i+\mu \sum_{i=1}^n c_ix_i &=&0&&\;\cdots\;iについて和をとった \\2\sigma^2\sum_{i=1}^n c_i^2+\lambda \cdot 1+\mu \cdot 0 &=&0&&\;\cdots\;\sum_{i=1}^n c_i=1(制約条件),\;\sum_{i=1}^nc_i x_i=0(制約条件) \\2\sigma^2\sum_{i=1}^n c_i^2+\lambda &=&0 \end{eqnarray} $$ 連立させた式をまとめた式を一つ作る(その3)． $$ \begin{eqnarray} x_i\left(2\sigma^2c_i+\lambda+\mu x_i\right)&=&x_i 0&(i=1,\cdots,n)&\;\cdots\;式Aを両辺x_i倍した \\2\sigma^2c_ix_i+\lambda x_i+\mu x_i^2 &=&0&(i=1,\cdots,n) \\2\sigma^2\sum_{i=1}^nc_ix_i+\lambda \sum_{i=1}^nx_i+\mu \sum_{i=1}^nx_i^2 &=&0&&\;\cdots\;iについて和をとった \\2\sigma^2\sum_{i=1}^nc_ix_i+\lambda n\bar{x}+\mu \sum_{i=1}^nx_i^2 &=&0&&\;\cdots\;\sum_{i=1}^nx_i=n\bar{x} \\2\sigma^2\cdot 0+\lambda \cdot n\bar{x}+\mu \sum_{i=1}^nx_i^2 &=&0&&\;\cdots\;\sum_{i=1}^nc_i x_i=0(制約条件) \\\lambda n\bar{x}+\mu \sum_{i=1}^nx_i^2 &=&0 \end{eqnarray} $$ まとめた式を改めて連立させる． $$ \begin{eqnarray} \left\{ \begin{array} \\2\sigma^2+\lambda n+\mu n\bar{x} &=&0 \\2\sigma^2\sum_{i=1}^n c_i^2+\lambda &=&0 \\\lambda n\bar{x}+\mu \sum_{i=1}^nx_i^2 &=&0 \end{array} \right. \end{eqnarray} $$\(\hat{\alpha}_{BLUE}\)の\(\lambda,\mu\)を求める
改めて連立させた式を用いて定数\(\lambda,\mu\)を求めていく． $$ \begin{eqnarray} 2\sigma^2+\lambda n+\mu n\bar{x} &=&0 \\\mu n\bar{x} &=&-2\sigma^2-\lambda n \\\mu &=&\frac{-\left(2\sigma^2+\lambda n\right)}{n\bar{x}} \\\lambda n\bar{x}+\mu \sum_{i=1}^nx_i^2 &=&0 \\\lambda n\bar{x}+\frac{-2\sigma^2-\lambda n}{n\bar{x}} \sum_{i=1}^nx_i^2 &=&0 \\n\bar{x}\left( \lambda n\bar{x}+\frac{-2\sigma^2-\lambda n}{n\bar{x}} \sum_{i=1}^nx_i^2 \right) &=&n\bar{x}0 \\\lambda n^2\bar{x}^2+\left(-2\sigma^2-\lambda n\right)\sum_{i=1}^nx_i^2&=&0 \\\lambda n^2\bar{x}^2-2\sigma^2\sum_{i=1}^nx_i^2-\lambda n\sum_{i=1}^nx_i^2&=&0 \\\lambda n^2\bar{x}^2-\lambda n\sum_{i=1}^nx_i^2&=&2\sigma^2\sum_{i=1}^nx_i^2 \\-n \lambda \left(\sum_{i=1}^nx_i^2-n\bar{x}^2\right)&=&2\sigma^2\sum_{i=1}^nx_i^2 \\-n \lambda S_{xx}&=&2\sigma^2\sum_{i=1}^nx_i^2 \;\cdots\;\href{https://shikitenkai.blogspot.com/2020/10/sxx.html}{S_{xx}=\sum_{i=1}^nx_i^2-n\bar{x}^2} \\\lambda&=&\frac{2\sigma^2\sum_{i=1}^nx_i^2}{-nS_{xx}} \\&=&\frac{-2\sigma^2\sum_{i=1}^nx_i^2}{nS_{xx}} \\\lambda n\bar{x}+\mu \sum_{i=1}^nx_i^2&=&0 \\\mu \sum_{i=1}^nx_i^2&=&-\lambda n\bar{x} \\\mu &=&\lambda\frac{- n\bar{x}}{\sum_{i=1}^nx_i^2} \\&=&\frac{-2\sigma^2\sum_{i=1}^nx_i^2}{nS_{xx}}\frac{- n\bar{x}}{\sum_{i=1}^nx_i^2} \\ &=&\frac{2\sigma^2\bar{x}}{S_{xx}} \end{eqnarray} $$\(\hat{\alpha}_{BLUE}\)の\(c_i\)を求める
求めた定数\(\lambda,\mu\)を用いて，最小となる変数\(c_i\)を求める． $$ \begin{eqnarray} 2\sigma^2c_i+\lambda+\mu x_i&=&0 \\c_i&=&-\frac{\lambda+\mu x_i}{2\sigma^2} \\&=&-\frac{1}{2\sigma^2} \left(\frac{-2\sigma^2\sum_{i=1}^nx_i^2}{nS_{xx}}+\frac{2\sigma^2\bar{x}}{S_{xx}}x_i\right) \\&=&-\frac{1}{2\sigma^2} \left(\frac{-2\sigma^2\sum_{i=1}^nx_i^2}{nS_{xx}}+\frac{2n\sigma^2\bar{x}}{nS_{xx}}x_i\right) \\&=&-\frac{1}{2\sigma^2} \left(\frac{-2\sigma^2\sum_{i=1}^nx_i^2+2n\sigma^2\bar{x}x_i}{nS_{xx}}\right) \\&=&-\frac{1}{2\sigma^2} \left(\frac{-2\sigma^2\left(\sum_{i=1}^nx_i^2-n\bar{x}x_i\right)}{nS_{xx}}\right) \\&=&\frac{\sum_{i=1}^nx_i^2-n\bar{x}x_i}{nS_{xx}} \\&=&\frac{A}{n}+\frac{B}{S_{xx}} \;\cdots\;部分分数分解,\;AS_{xx}+Bn=\sum_{i=1}^nx_i^2-n\bar{x}x_i \\&=&\frac{1}{n}+\frac{\bar{x}\left(\bar{x}-x_i\right)}{S_{xx}} \\&&\;\cdots\;AS_{xx}+Bn=\sum_{i=1}^nx_i^2-n\bar{x}x_i \\&&\;\cdots\;A\left(\sum_{i=1}^nx_i^2-n\bar{x}^2\right)+Bn=\sum_{i=1}^nx_i^2-n\bar{x}x_i \\&&\;\cdots\;A\sum_{i=1}^nx_i^2-An\bar{x}^2+Bn=\sum_{i=1}^nx_i^2-n\bar{x}x_i \\&&\;\cdots\;A\sum_{i=1}^nx_i^2=\sum_{i=1}^nx_i^2\;\overrightarrow\;A=1\;\;(係数比較) \\&&\;\cdots\;-An\bar{x}^2+Bn=-n\bar{x}x_i\;\overrightarrow\;B=\bar{x}^2-\bar{x}x_i=\bar{x}\left(\bar{x}-x_i\right)\;\;(係数比較) \\&=&\frac{1}{n}-\frac{\bar{x}\left(x_i-\bar{x}\right)}{S_{xx}} \end{eqnarray} $$ これは最小二乗推定量\(\hat{\alpha}\)と同じである． $$ \begin{eqnarray} \hat{\alpha}_{BLUE}&=&\sum_{i=1}^n c_iy_i \\&=&\sum_{i=1}^n\left(\frac{1}{n}-\frac{\bar{x}\left(x_i-\bar{x}\right)}{S_{xx}}\right) y_i \;\cdots\;c_i=\frac{1}{n}-\frac{\bar{x}\left(x_i-\bar{x}\right)}{S_{xx}} \\&=&\sum_{i=1}^n\frac{1}{n}y_i-\sum_{i=1}^n\frac{\bar{x}\left(x_i-\bar{x}\right)}{S_{xx}}y_i \;\cdots\;\sum\left(A_i+B_i\right)=\sum A_i+\sum B_i \\&=&\frac{1}{n}\sum_{i=1}^ny_i-\frac{\bar{x}}{S_{xx}}\sum_{i=1}^n\left(x_i-\bar{x}\right)y_i \;\cdots\;\sum cA_i=c\sum A_i \\&=&\frac{1}{n}n\bar{y}-\frac{S_{xy}}{S_{xx}}\bar{x} \;\cdots\;\sum_{i=1}^ny_i=n\bar{y},\;\href{https://shikitenkai.blogspot.com/2020/10/sxy.html}{\sum_{i=1}^n\left(x_i-\bar{x}\right)y_i=S_{xy}} \\&=&\bar{y}-\hat{\beta}\bar{x} \;\cdots\;\href{https://shikitenkai.blogspot.com/2020/03/blog-post.html}{\hat{\beta}=\frac{S_{xy}}{S_{xx}}} \\&=&\hat{\alpha} \;\cdots\;\href{https://shikitenkai.blogspot.com/2020/03/blog-post.html}{\hat{\alpha}=\bar{y}-\hat{\beta}\bar{x}} \end{eqnarray} $$\(\hat{\alpha}_{BLUE}\)の分散
\(\hat{\alpha}_{BLUE}\)の分散\(\sigma^2\sum_{i=1}^n c_i^2\)を最小とするための変数\(c_i\)を用いて以下のようになる． $$ \begin{eqnarray} 2\sigma^2\sum_{i=1}^n c_i^2+\lambda &=&0 \\\sigma^2\sum_{i=1}^n c_i^2&=&-\frac{1}{2}\lambda \\&=&-\frac{1}{2}\frac{-2\sigma^2\sum_{i=1}^nx_i^2}{nS_{xx}} \\&=&\sigma^2\frac{\sum_{i=1}^nx_i^2}{nS_{xx}} \\&=&\sigma^2\left(\frac{A}{n}+\frac{B}{S_{xx}}\right) \;\cdots\;部分分数分解,\;AS_{xx}+Bn=\sum_{i=1}^nx_i^2 \\&=&\sigma^2\left(\frac{1}{n}+\frac{\bar{x}^2}{S_{xx}}\right) \\&&\;\cdots\;AS_{xx}+Bn=\sum_{i=1}^nx_i^2 \\&&\;\cdots\;A\left(\sum_{i=1}^nx_i^2-n\bar{x}^2\right)+Bn=\sum_{i=1}^nx_i^2\;\;\left(\href{https://shikitenkai.blogspot.com/2020/10/sxx.html}{S_{xx}=\sum_{i=1}^nx_i^2-n\bar{x}^2}\right) \\&&\;\cdots\;A\sum_{i=1}^nx_i^2-An\bar{x}^2+Bn=\sum_{i=1}^nx_i^2 \\&&\;\cdots\;A\sum_{i=1}^nx_i^2=\sum_{i=1}^nx_i^2\;\overrightarrow\;A=1\;\;(係数比較) \\&&\;\cdots\;-An\bar{x}^2+Bn=0\;\overrightarrow\;B=\bar{x}^2\;\;(係数比較) \end{eqnarray} $$単回帰モデルの最良線形不偏推定量 β編
単回帰モデルの最良線形不偏推定量 \(\beta\)編
単回帰モデル
$$ \begin{eqnarray} y_i&=&\alpha+\beta x_i +\epsilon_i\;(i=1,\cdots,n)\;\dots\;\epsilon_i \overset{iid}{\sim} \mathrm{N}\left(0,\sigma^2\right) \end{eqnarray} $$単回帰モデルに対する線形推定量の期待値
単回帰モデルの線形推定量に対して期待値を求めると，以下のように式展開される． $$ \begin{eqnarray} \mathrm{E}\left[\sum_{i=1}^n c_iy_i\right] &=&\mathrm{E}\left[\sum_{i=1}^n c_i\left(\alpha+\beta x_i +\epsilon_i\right)\right] \;\cdots\;y_i=\alpha+\beta x_i +\epsilon_i \\&=&\mathrm{E}\left[\sum_{i=1}^n c_i\alpha+\sum_{i=1}^nc_i\beta x_i +\sum_{i=1}^nc_i\epsilon_i\right] \;\cdots\;\sum\left(A+B\right)=\sum A+\sum B \\&=&\mathrm{E}\left[\alpha\sum_{i=1}^n c_i+\beta\sum_{i=1}^nc_i x_i +\sum_{i=1}^nc_i\epsilon_i\right] \;\cdots\;\sum cA=c\sum A \\&=&\alpha\sum_{i=1}^n c_i+\beta\sum_{i=1}^nc_i x_i +\mathrm{E}\left[\sum_{i=1}^nc_i\epsilon_i\right] \;\cdots\;\mathrm{E}\left[X+t\right]=\mathrm{E}\left[X\right]+t \\&=&\alpha\sum_{i=1}^n c_i+\beta\sum_{i=1}^nc_i x_i +\sum_{i=1}^n\mathrm{E}\left[c_i\epsilon_i\right] \;\cdots\;\mathrm{E}\left[\sum_{i=1}^n X_i\right]=\mathrm{E}\left[X_1+\cdots+X_n\right]=\mathrm{E}\left[X_1\right]+\cdots+\mathrm{E}\left[X_n\right]=\sum_{i=1}^n\mathrm{E}\left[X_i\right] \\&=&\alpha\sum_{i=1}^n c_i+\beta\sum_{i=1}^nc_i x_i +\sum_{i=1}^nc_i\mathrm{E}\left[\epsilon_i\right] \;\cdots\;\mathrm{E}\left[cX\right]=c\mathrm{E}\left[X\right] \\&=&\alpha\sum_{i=1}^n c_i+\beta\sum_{i=1}^nc_i x_i +\sum_{i=1}^nc_i\cdot0 \;\cdots\;\mathrm{E}\left[\epsilon_i\right]=0 \\&=&\alpha\sum_{i=1}^n c_i+\beta\sum_{i=1}^nc_i x_i \end{eqnarray} $$単回帰モデルに対する線形推定量の分散
$$ \begin{eqnarray} \mathrm{V}\left[\sum_{i=1}^n c_iy_i\right]&=&\sum_{i=1}^n \mathrm{V}\left[c_iy_i\right] \\&=&\sum_{i=1}^n c_i^2\mathrm{V}\left[y_i\right] \\&=&\sum_{i=1}^n c_i^2\sigma^2 \\&=&\sigma^2\sum_{i=1}^n c_i^2 \end{eqnarray} $$\(\beta\)の線形推定量
単回帰モデルの推定量\(\beta\)の線形推定量を\(\tilde{\beta}\)とすると，この期待値は以下のように求められる． $$ \begin{eqnarray} \mathrm{E}\left[\tilde{\beta}\right]&=&\mathrm{E}\left[\sum_{i=1}^n c_iy_i\right] \;\cdots\;線形推定量とする仮定より\tilde{\beta}=\sum_{i=1}^n c_iy_i \\&=&\alpha\sum_{i=1}^n c_i+\beta\sum_{i=1}^nc_i x_i \end{eqnarray} $$ この\(\tilde{\beta}\)が不偏推定量であるためには上記の\(\tilde{\beta}\)の期待値が\(\beta\)である必要がある.よって式展開した結果の\(\alpha,\beta\)の係数である\(\sum_{i=1}^n c_i,\sum_{i=1}^n c_ix_i\)が以下の条件を満たす必要があるが， 逆に条件を満たせば不偏推定量である． $$ \begin{eqnarray} \left\{ \begin{array} \\\sum_{i=1}^n c_i&=&0 \\\sum_{i=1}^nc_i x_i&=&1 \end{array} \right. \end{eqnarray} $$ 不偏推定量となる線形推定量\(\tilde{\beta}\)の中で分散\(\sigma^2\sum_{i=1}^n c_i^2\)が最小となるものを 最良線形不偏推定量(best linear unbiased estimator; BLUE)と呼ぶ．ここでは\(\hat{\beta}_{BLUE}\)と表すこととする． $$ \begin{eqnarray} \left\{ \begin{array} \\f(c_1,\cdots,c_n)&=&\sigma^2\sum_{i=1}^nc_i^2&&最小&目的凾数 \\g(c_1,\cdots,c_n)&=&\sum_{i=1}^n c_i&=&0&制約条件 \\h(c_1,\cdots,c_n)&=&\sum_{i=1}^nc_i x_i-1&=&0&制約条件 \end{array} \right. \end{eqnarray} $$
\(\hat{\beta}_{BLUE}\)の最良線形不偏推定量を求める
ラグランジュの未定乗数法を用いる．束縛条件に係数をかけて目的凾数と線形結合した式を作成する． $$ \begin{eqnarray} L&=&L(c_1,\cdots,c_n,\lambda,\mu) \\&=&f(c_1,\cdots,c_n)+\lambda g(c_1,\cdots,c_n) + \mu h(c_1,\cdots,c_n) \\&=&\sigma^2\left(\sum_{i=1}^nc_i^2\right)+\lambda\left(\sum_{i=1}^n c_i\right)+\mu\left(\sum_{i=1}^n c_ix_i-1\right) \end{eqnarray} $$ \(L\)を各変数\(c_i\)で微分したものを連立させる． $$ \begin{eqnarray} \frac{\partial L}{\partial c_i}&=&0&(i=1,\cdots,n) \\2\sigma^2c_i+\lambda+\mu x_i&=&0&(i=1,\cdots,n)&\;\cdots\;Lをc_iで微分したn個の等式ができる\cdots式A \end{eqnarray} $$ 連立させた式をまとめた式を一つ作る(その1)． $$ \begin{eqnarray} 2\sigma^2\sum_{i=1}^n c_i+\lambda \sum_{i=1}^n 1+\mu \sum_{i=1}^n x_i &=&0&&\;\cdots\;式Aをiについて和をとった \\2\sigma^2\sum_{i=1}^n c_i+\lambda \cdot n+\mu n\bar{x} &=&0&&\;\cdots\;\sum_{i=1}^n 1=n,\;\sum_{i=1}^nx_i=n\bar{x} \\2\sigma^2\cdot 0+\lambda \cdot n+\mu n\bar{x} &=&0&&\;\cdots\;\sum_{i=1}^n c_i=0(制約条件) \\\lambda n+\mu n\bar{x} &=&0 \end{eqnarray} $$ 連立させた式をまとめた式を一つ作る(その2)． $$ \begin{eqnarray} c_i\left(2\sigma^2c_i+\lambda+\mu x_i\right)&=&c_i 0&(i=1,\cdots,n)&\;\cdots\;式Aを両辺c_i倍した \\2\sigma^2c_i^2+\lambda c_i+\mu c_ix_i &=&0&(i=1,\cdots,n) \\2\sigma^2\sum_{i=1}^n c_i^2+\lambda \sum_{i=1}^n c_i+\mu \sum_{i=1}^n c_ix_i &=&0&&\;\cdots\;iについて和をとった \\2\sigma^2\sum_{i=1}^n c_i^2+\lambda \cdot 0+\mu \cdot 1 &=&0&&\;\cdots\;\sum_{i=1}^n c_i=0(制約条件),\;\sum_{i=1}^nc_i x_i=1(制約条件) \\2\sigma^2\sum_{i=1}^n c_i^2+\mu &=&0 \end{eqnarray} $$ 連立させた式をまとめた式を一つ作る(その3)． $$ \begin{eqnarray} x_i\left(2\sigma^2c_i+\lambda+\mu x_i\right)&=&x_i 0&(i=1,\cdots,n)&\;\cdots\;式Aを両辺x_i倍した \\2\sigma^2c_ix_i+\lambda x_i+\mu x_i^2 &=&0&(i=1,\cdots,n) \\2\sigma^2\sum_{i=1}^nc_ix_i+\lambda \sum_{i=1}^nx_i+\mu \sum_{i=1}^nx_i^2 &=&0&&\;\cdots\;iについて和をとった \\2\sigma^2\sum_{i=1}^nc_ix_i+\lambda n\bar{x}+\mu \sum_{i=1}^nx_i^2 &=&0&&\;\cdots\;\sum_{i=1}^nx_i=n\bar{x} \\2\sigma^2\cdot 1+\lambda \cdot n\bar{x}+\mu \sum_{i=1}^nx_i^2 &=&0&&\;\cdots\;\sum_{i=1}^nc_i x_i=1(制約条件) \\2\sigma^2+\lambda n\bar{x}+\mu \sum_{i=1}^nx_i^2 &=&0 \end{eqnarray} $$ まとめた式を改めて連立させる． $$ \begin{eqnarray} \left\{ \begin{array} \\\lambda n+\mu n\bar{x} &=&0 \\2\sigma^2\sum_{i=1}^n c_i^2+\mu &=&0 \\2\sigma^2+\lambda n\bar{x}+\mu \sum_{i=1}^nx_i^2 &=&0 \end{array} \right. \end{eqnarray} $$\(\hat{\beta}_{BLUE}\)の\(\lambda,\mu\)を求める
改めて連立させた式を用いて定数\(\lambda,\mu\)を求めていく． $$ \begin{eqnarray} \lambda n &=& -\mu n\bar{x} \\\lambda &=& \frac{-\mu n\bar{x}}{n} \\ &=& -\mu \bar{x} \\2\sigma^2+\lambda n\bar{x}+\mu \sum_{i=1}^nx_i^2 &=&0 \\2\sigma^2+\left(-\mu \bar{x}\right) n\bar{x}+\mu \sum_{i=1}^nx_i^2 &=&0 \\2\sigma^2-\mu n\bar{x}^2+\mu \sum_{i=1}^nx_i^2 &=&0 \\-\mu n\bar{x}^2+\mu \sum_{i=1}^nx_i^2 &=&-2\sigma^2 \\\mu\left(\sum_{i=1}^nx_i^2-n\bar{x}^2\right) &=&-2\sigma^2 \\\mu S_{xx} &=&-2\sigma^2 \;\cdots\;\href{https://shikitenkai.blogspot.com/2020/10/sxx.html}{S_{xx}=\sum_{i=1}^nx_i^2-n\bar{x}^2} \\\mu&=&\frac{-2\sigma^2}{S_{xx}} \\\lambda &=&-\mu \bar{x} \\&=&-\frac{-2\sigma^2}{S_{xx}}\bar{x} \\&=&\frac{2\sigma^2\bar{x}}{S_{xx}} \end{eqnarray} $$\(\hat{\beta}_{BLUE}\)の\(c_i\)を求める
求めた定数\(\lambda,\mu\)を用いて，最小となる変数\(c_i\)を求める． $$ \begin{eqnarray} 2\sigma^2c_i+\lambda+\mu x_i&=&0 \\2\sigma^2c_i+\frac{2\sigma^2\bar{x}}{S_{xx}}+\frac{-2\sigma^2}{S_{xx}} x_i&=&0 \\2\sigma^2c_i-\frac{2\sigma^2}{S_{xx}}\left(x_i-\bar{x}\right) &=&0 \\2\sigma^2c_i &=&\frac{2\sigma^2}{S_{xx}}\left(x_i-\bar{x}\right) \\c_i &=&\frac{1}{2\sigma^2}\frac{2\sigma^2}{S_{xx}}\left(x_i-\bar{x}\right) \\&=&\frac{1}{S_{xx}}\left(x_i-\bar{x}\right) \end{eqnarray} $$ これは最小二乗推定量\(\hat{\beta}\)と同じである． $$ \begin{eqnarray} \hat{\beta}_{BLUE}&=&\sum_{i=1}^n c_iy_i \\&=&\sum_{i=1}^n\frac{1}{S_{xx}}\left(x_i-\bar{x}\right) y_i \;\cdots\;c_i=\frac{1}{S_{xx}}\left(x_i-\bar{x}\right) \\&=&\frac{1}{S_{xx}}\sum_{i=1}^n\left(x_i-\bar{x}\right) y_i \;\cdots\;\sum cA_i=c\sum A_i \\&=&\frac{S_{xy}}{S_{xx}} \;\cdots\;\href{https://shikitenkai.blogspot.com/2020/10/sxy.html}{\sum_{i=1}^n\left(x_i-\bar{x}\right)y_i=S_{xy}} \\&=&\hat{\beta} \;\cdots\;\href{https://shikitenkai.blogspot.com/2020/03/blog-post.html}{\hat{\beta}=\frac{S_{xy}}{S_{xx}}} \end{eqnarray} $$\(\hat{\beta}_{BLUE}\)の分散
\(\hat{\beta}_{BLUE}\)の分散\(\sigma^2\sum_{i=1}^n c_i^2\)を最小とするための変数\(c_i\)を用いて以下のようになる． $$ \begin{eqnarray} 2\sigma^2\sum_{i=1}^n c_i^2+\mu &=&0 \\2\sigma^2\sum_{i=1}^n c_i^2+\frac{-2\sigma^2}{S_{xx}} &=&0 \\2\sigma^2\sum_{i=1}^n c_i^2&=&\frac{2\sigma^2}{S_{xx}} \\\sigma^2\sum_{i=1}^n c_i^2&=&\frac{2\sigma^2}{2S_{xx}} \\&=&\sigma^2\frac{1}{S_{xx}} \end{eqnarray} $$
登録:
投稿 (Atom)