単回帰モデルの最良線形不偏推定量 \(\alpha\)編
単回帰モデル
$$
\begin{eqnarray}
y_i&=&\alpha+\beta x_i +\epsilon_i\;(i=1,\cdots,n)\;\dots\;\epsilon_i \overset{iid}{\sim} \mathrm{N}\left(0,\sigma^2\right)
\end{eqnarray}
$$
単回帰モデルに対する線形推定量の期待値
単回帰モデルの線形推定量に対して期待値を求めると，以下のように式展開される．
$$
\begin{eqnarray}
\mathrm{E}\left[\sum_{i=1}^n c_iy_i\right]
&=&\mathrm{E}\left[\sum_{i=1}^n c_i\left(\alpha+\beta x_i +\epsilon_i\right)\right]
\;\cdots\;y_i=\alpha+\beta x_i +\epsilon_i
\\&=&\mathrm{E}\left[\sum_{i=1}^n c_i\alpha+\sum_{i=1}^nc_i\beta x_i +\sum_{i=1}^nc_i\epsilon_i\right]
\;\cdots\;\sum\left(A+B\right)=\sum A+\sum B
\\&=&\mathrm{E}\left[\alpha\sum_{i=1}^n c_i+\beta\sum_{i=1}^nc_i x_i +\sum_{i=1}^nc_i\epsilon_i\right]
\;\cdots\;\sum cA=c\sum A
\\&=&\alpha\sum_{i=1}^n c_i+\beta\sum_{i=1}^nc_i x_i +\mathrm{E}\left[\sum_{i=1}^nc_i\epsilon_i\right]
\;\cdots\;\mathrm{E}\left[X+t\right]=\mathrm{E}\left[X\right]+t
\\&=&\alpha\sum_{i=1}^n c_i+\beta\sum_{i=1}^nc_i x_i +\sum_{i=1}^n\mathrm{E}\left[c_i\epsilon_i\right]
\;\cdots\;\mathrm{E}\left[\sum_{i=1}^n X_i\right]=\mathrm{E}\left[X_1+\cdots+X_n\right]=\mathrm{E}\left[X_1\right]+\cdots+\mathrm{E}\left[X_n\right]=\sum_{i=1}^n\mathrm{E}\left[X_i\right]\\&=&\alpha\sum_{i=1}^n c_i+\beta\sum_{i=1}^nc_i x_i +\sum_{i=1}^nc_i\mathrm{E}\left[\epsilon_i\right]
\;\cdots\;\mathrm{E}\left[cX\right]=c\mathrm{E}\left[X\right]
\\&=&\alpha\sum_{i=1}^n c_i+\beta\sum_{i=1}^nc_i x_i +\sum_{i=1}^nc_i\cdot0
\;\cdots\;\mathrm{E}\left[\epsilon_i\right]=0
\\&=&\alpha\sum_{i=1}^n c_i+\beta\sum_{i=1}^nc_i x_i
\end{eqnarray}
$$
単回帰モデルに対する線形推定量の分散
$$
\begin{eqnarray}
\mathrm{V}\left[\sum_{i=1}^n c_iy_i\right]&=&\sum_{i=1}^n \mathrm{V}\left[c_iy_i\right]
\\&=&\sum_{i=1}^n c_i^2\mathrm{V}\left[y_i\right]
\\&=&\sum_{i=1}^n c_i^2\sigma^2
\\&=&\sigma^2\sum_{i=1}^n c_i^2
\end{eqnarray}
$$
\(\alpha\)の線形推定量
単回帰モデルの推定量\(\alpha\)の線形推定量を\(\tilde{\alpha}\)とすると，この期待値は以下のように求められる．
$$
\begin{eqnarray}
\mathrm{E}\left[\tilde{\alpha}\right]&=&\mathrm{E}\left[\sum_{i=1}^n c_iy_i\right]
\;\cdots\;線形推定量とする仮定より\tilde{\alpha}=\sum_{i=1}^n c_iy_i
\\&=&\alpha\sum_{i=1}^n c_i+\beta\sum_{i=1}^nc_i x_i
\end{eqnarray}
$$
この\(\tilde{\alpha}\)が不偏推定量であるためには上記の\(\tilde{\alpha}\)の期待値が\(\alpha\)である必要がある.
よって式展開した結果の\(\alpha,\beta\)の係数である\(\sum_{i=1}^n c_i,\sum_{i=1}^n c_ix_i\)が以下の条件を満たす必要があるが，
逆に条件を満たせば不偏推定量である．
$$
\begin{eqnarray}
\left\{
\begin{array}
\\\sum_{i=1}^n c_i&=&1
\\\sum_{i=1}^nc_i x_i&=&0
\end{array}
\right.
\end{eqnarray}
$$
不偏推定量となる線形推定量\(\tilde{\alpha}\)の中で分散\(\sigma^2\sum_{i=1}^n c_i^2\)が最小となるものを
最良線形不偏推定量(best linear unbiased estimator; BLUE)と呼ぶ．ここでは\(\hat{\alpha}_{BLUE}\)と表すこととする．
$$
\begin{eqnarray}
\left\{
\begin{array}
\\f(c_1,\cdots,c_n)&=&\sigma^2\sum_{i=1}^nc_i^2&&最小&目的凾数
\\g(c_1,\cdots,c_n)&=&\sum_{i=1}^n c_i-1&=&0&制約条件
\\h(c_1,\cdots,c_n)&=&\sum_{i=1}^nc_i x_i&=&0&制約条件
\end{array}
\right.
\end{eqnarray}
$$
\(\hat{\alpha}_{BLUE}\)の最良線形不偏推定量を求める
ラグランジュの未定乗数法を用いる．束縛条件に係数をかけて目的凾数と線形結合した式を作成する．
$$
\begin{eqnarray}
L&=&L(c_1,\cdots,c_n,\lambda,\mu)
\\&=&f(c_1,\cdots,c_n)+\lambda g(c_1,\cdots,c_n) + \mu h(c_1,\cdots,c_n)
\\&=&\sigma^2\left(\sum_{i=1}^nc_i^2\right)+\lambda\left(\sum_{i=1}^n c_i-1\right)+\mu\left(\sum_{i=1}^n c_ix_i\right)
\end{eqnarray}
$$
\(L\)を各変数\(c_i\)で微分したものを連立させる．
$$
\begin{eqnarray}
\frac{\partial L}{\partial c_i}&=&0&(i=1,\cdots,n)
\\2\sigma^2c_i+\lambda+\mu x_i&=&0&(i=1,\cdots,n)&\;\cdots\;Lをc_iで微分したn個の等式ができる\cdots式A
\end{eqnarray}
$$
連立させた式をまとめた式を一つ作る(その1)．
$$
\begin{eqnarray}
2\sigma^2\sum_{i=1}^n c_i+\lambda \sum_{i=1}^n 1+\mu \sum_{i=1}^n x_i &=&0&&\;\cdots\;式Aをiについて和をとった
\\2\sigma^2\sum_{i=1}^n c_i+\lambda \cdot n+\mu n\bar{x} &=&0&&\;\cdots\;\sum_{i=1}^n 1=n,\;\sum_{i=1}^nx_i=n\bar{x}
\\2\sigma^2\cdot 1+\lambda \cdot n+\mu n\bar{x} &=&0&&\;\cdots\;\sum_{i=1}^n c_i=1(制約条件)
\\2\sigma^2+\lambda n+\mu n\bar{x} &=&0
\end{eqnarray}
$$
連立させた式をまとめた式を一つ作る(その2)．
$$
\begin{eqnarray}
c_i\left(2\sigma^2c_i+\lambda+\mu x_i\right)&=&c_i 0&(i=1,\cdots,n)&\;\cdots\;式Aを両辺c_i倍した
\\2\sigma^2c_i^2+\lambda c_i+\mu c_ix_i &=&0&(i=1,\cdots,n)
\\2\sigma^2\sum_{i=1}^n c_i^2+\lambda \sum_{i=1}^n c_i+\mu \sum_{i=1}^n c_ix_i &=&0&&\;\cdots\;iについて和をとった
\\2\sigma^2\sum_{i=1}^n c_i^2+\lambda \cdot 1+\mu \cdot 0 &=&0&&\;\cdots\;\sum_{i=1}^n c_i=1(制約条件),\;\sum_{i=1}^nc_i x_i=0(制約条件)
\\2\sigma^2\sum_{i=1}^n c_i^2+\lambda &=&0
\end{eqnarray}
$$
連立させた式をまとめた式を一つ作る(その3)．
$$
\begin{eqnarray}
x_i\left(2\sigma^2c_i+\lambda+\mu x_i\right)&=&x_i 0&(i=1,\cdots,n)&\;\cdots\;式Aを両辺x_i倍した
\\2\sigma^2c_ix_i+\lambda x_i+\mu x_i^2 &=&0&(i=1,\cdots,n)
\\2\sigma^2\sum_{i=1}^nc_ix_i+\lambda \sum_{i=1}^nx_i+\mu \sum_{i=1}^nx_i^2 &=&0&&\;\cdots\;iについて和をとった
\\2\sigma^2\sum_{i=1}^nc_ix_i+\lambda n\bar{x}+\mu \sum_{i=1}^nx_i^2 &=&0&&\;\cdots\;\sum_{i=1}^nx_i=n\bar{x}
\\2\sigma^2\cdot 0+\lambda \cdot n\bar{x}+\mu \sum_{i=1}^nx_i^2 &=&0&&\;\cdots\;\sum_{i=1}^nc_i x_i=0(制約条件)
\\\lambda n\bar{x}+\mu \sum_{i=1}^nx_i^2 &=&0
\end{eqnarray}
$$
まとめた式を改めて連立させる．
$$
\begin{eqnarray}
\left\{
\begin{array}
\\2\sigma^2+\lambda n+\mu n\bar{x} &=&0
\\2\sigma^2\sum_{i=1}^n c_i^2+\lambda &=&0
\\\lambda n\bar{x}+\mu \sum_{i=1}^nx_i^2 &=&0
\end{array}
\right.
\end{eqnarray}
$$
\(\hat{\alpha}_{BLUE}\)の\(\lambda,\mu\)を求める
改めて連立させた式を用いて定数\(\lambda,\mu\)を求めていく．
$$
\begin{eqnarray}
2\sigma^2+\lambda n+\mu n\bar{x} &=&0
\\\mu n\bar{x} &=&-2\sigma^2-\lambda n
\\\mu &=&\frac{-\left(2\sigma^2+\lambda n\right)}{n\bar{x}}
\\\lambda n\bar{x}+\mu \sum_{i=1}^nx_i^2 &=&0
\\\lambda n\bar{x}+\frac{-2\sigma^2-\lambda n}{n\bar{x}} \sum_{i=1}^nx_i^2 &=&0
\\n\bar{x}\left( \lambda n\bar{x}+\frac{-2\sigma^2-\lambda n}{n\bar{x}} \sum_{i=1}^nx_i^2 \right) &=&n\bar{x}0
\\\lambda n^2\bar{x}^2+\left(-2\sigma^2-\lambda n\right)\sum_{i=1}^nx_i^2&=&0
\\\lambda n^2\bar{x}^2-2\sigma^2\sum_{i=1}^nx_i^2-\lambda n\sum_{i=1}^nx_i^2&=&0
\\\lambda n^2\bar{x}^2-\lambda n\sum_{i=1}^nx_i^2&=&2\sigma^2\sum_{i=1}^nx_i^2
\\-n \lambda \left(\sum_{i=1}^nx_i^2-n\bar{x}^2\right)&=&2\sigma^2\sum_{i=1}^nx_i^2
\\-n \lambda S_{xx}&=&2\sigma^2\sum_{i=1}^nx_i^2
\;\cdots\;\href{https://shikitenkai.blogspot.com/2020/10/sxx.html}{S_{xx}=\sum_{i=1}^nx_i^2-n\bar{x}^2}
\\\lambda&=&\frac{2\sigma^2\sum_{i=1}^nx_i^2}{-nS_{xx}}
\\&=&\frac{-2\sigma^2\sum_{i=1}^nx_i^2}{nS_{xx}}
\\\lambda n\bar{x}+\mu \sum_{i=1}^nx_i^2&=&0
\\\mu \sum_{i=1}^nx_i^2&=&-\lambda n\bar{x}
\\\mu &=&\lambda\frac{- n\bar{x}}{\sum_{i=1}^nx_i^2}
\\&=&\frac{-2\sigma^2\sum_{i=1}^nx_i^2}{nS_{xx}}\frac{- n\bar{x}}{\sum_{i=1}^nx_i^2}
\\ &=&\frac{2\sigma^2\bar{x}}{S_{xx}}
\end{eqnarray}
$$
\(\hat{\alpha}_{BLUE}\)の\(c_i\)を求める
求めた定数\(\lambda,\mu\)を用いて，最小となる変数\(c_i\)を求める．
$$
\begin{eqnarray}
2\sigma^2c_i+\lambda+\mu x_i&=&0
\\c_i&=&-\frac{\lambda+\mu x_i}{2\sigma^2}
\\&=&-\frac{1}{2\sigma^2} \left(\frac{-2\sigma^2\sum_{i=1}^nx_i^2}{nS_{xx}}+\frac{2\sigma^2\bar{x}}{S_{xx}}x_i\right)
\\&=&-\frac{1}{2\sigma^2} \left(\frac{-2\sigma^2\sum_{i=1}^nx_i^2}{nS_{xx}}+\frac{2n\sigma^2\bar{x}}{nS_{xx}}x_i\right)
\\&=&-\frac{1}{2\sigma^2} \left(\frac{-2\sigma^2\sum_{i=1}^nx_i^2+2n\sigma^2\bar{x}x_i}{nS_{xx}}\right)
\\&=&-\frac{1}{2\sigma^2} \left(\frac{-2\sigma^2\left(\sum_{i=1}^nx_i^2-n\bar{x}x_i\right)}{nS_{xx}}\right)
\\&=&\frac{\sum_{i=1}^nx_i^2-n\bar{x}x_i}{nS_{xx}}
\\&=&\frac{A}{n}+\frac{B}{S_{xx}}
\;\cdots\;部分分数分解,\;AS_{xx}+Bn=\sum_{i=1}^nx_i^2-n\bar{x}x_i
\\&=&\frac{1}{n}+\frac{\bar{x}\left(\bar{x}-x_i\right)}{S_{xx}}
\\&&\;\cdots\;AS_{xx}+Bn=\sum_{i=1}^nx_i^2-n\bar{x}x_i
\\&&\;\cdots\;A\left(\sum_{i=1}^nx_i^2-n\bar{x}^2\right)+Bn=\sum_{i=1}^nx_i^2-n\bar{x}x_i
\\&&\;\cdots\;A\sum_{i=1}^nx_i^2-An\bar{x}^2+Bn=\sum_{i=1}^nx_i^2-n\bar{x}x_i
\\&&\;\cdots\;A\sum_{i=1}^nx_i^2=\sum_{i=1}^nx_i^2\;\overrightarrow\;A=1\;\;(係数比較)
\\&&\;\cdots\;-An\bar{x}^2+Bn=-n\bar{x}x_i\;\overrightarrow\;B=\bar{x}^2-\bar{x}x_i=\bar{x}\left(\bar{x}-x_i\right)\;\;(係数比較)
\\&=&\frac{1}{n}-\frac{\bar{x}\left(x_i-\bar{x}\right)}{S_{xx}}
\end{eqnarray}
$$
これは
最小二乗推定量\(\hat{\alpha}\)と同じである．
$$
\begin{eqnarray}
\hat{\alpha}_{BLUE}&=&\sum_{i=1}^n c_iy_i
\\&=&\sum_{i=1}^n\left(\frac{1}{n}-\frac{\bar{x}\left(x_i-\bar{x}\right)}{S_{xx}}\right) y_i
\;\cdots\;c_i=\frac{1}{n}-\frac{\bar{x}\left(x_i-\bar{x}\right)}{S_{xx}}
\\&=&\sum_{i=1}^n\frac{1}{n}y_i-\sum_{i=1}^n\frac{\bar{x}\left(x_i-\bar{x}\right)}{S_{xx}}y_i
\;\cdots\;\sum\left(A_i+B_i\right)=\sum A_i+\sum B_i
\\&=&\frac{1}{n}\sum_{i=1}^ny_i-\frac{\bar{x}}{S_{xx}}\sum_{i=1}^n\left(x_i-\bar{x}\right)y_i
\;\cdots\;\sum cA_i=c\sum A_i
\\&=&\frac{1}{n}n\bar{y}-\frac{S_{xy}}{S_{xx}}\bar{x}
\;\cdots\;\sum_{i=1}^ny_i=n\bar{y},\;\href{https://shikitenkai.blogspot.com/2020/10/sxy.html}{\sum_{i=1}^n\left(x_i-\bar{x}\right)y_i=S_{xy}}
\\&=&\bar{y}-\hat{\beta}\bar{x}
\;\cdots\;\href{https://shikitenkai.blogspot.com/2020/03/blog-post.html}{\hat{\beta}=\frac{S_{xy}}{S_{xx}}}
\\&=&\hat{\alpha}
\;\cdots\;\href{https://shikitenkai.blogspot.com/2020/03/blog-post.html}{\hat{\alpha}=\bar{y}-\hat{\beta}\bar{x}}
\end{eqnarray}
$$
\(\hat{\alpha}_{BLUE}\)の分散
\(\hat{\alpha}_{BLUE}\)の分散\(\sigma^2\sum_{i=1}^n c_i^2\)を最小とするための変数\(c_i\)を用いて以下のようになる．
$$
\begin{eqnarray}
2\sigma^2\sum_{i=1}^n c_i^2+\lambda &=&0
\\\sigma^2\sum_{i=1}^n c_i^2&=&-\frac{1}{2}\lambda
\\&=&-\frac{1}{2}\frac{-2\sigma^2\sum_{i=1}^nx_i^2}{nS_{xx}}
\\&=&\sigma^2\frac{\sum_{i=1}^nx_i^2}{nS_{xx}}
\\&=&\sigma^2\left(\frac{A}{n}+\frac{B}{S_{xx}}\right)
\;\cdots\;部分分数分解,\;AS_{xx}+Bn=\sum_{i=1}^nx_i^2
\\&=&\sigma^2\left(\frac{1}{n}+\frac{\bar{x}^2}{S_{xx}}\right)
\\&&\;\cdots\;AS_{xx}+Bn=\sum_{i=1}^nx_i^2
\\&&\;\cdots\;A\left(\sum_{i=1}^nx_i^2-n\bar{x}^2\right)+Bn=\sum_{i=1}^nx_i^2\;\;\left(\href{https://shikitenkai.blogspot.com/2020/10/sxx.html}{S_{xx}=\sum_{i=1}^nx_i^2-n\bar{x}^2}\right)
\\&&\;\cdots\;A\sum_{i=1}^nx_i^2-An\bar{x}^2+Bn=\sum_{i=1}^nx_i^2
\\&&\;\cdots\;A\sum_{i=1}^nx_i^2=\sum_{i=1}^nx_i^2\;\overrightarrow\;A=1\;\;(係数比較)
\\&&\;\cdots\;-An\bar{x}^2+Bn=0\;\overrightarrow\;B=\bar{x}^2\;\;(係数比較)
\end{eqnarray}
$$
