単回帰モデルの最良線形不偏推定量 \(\beta\)編
単回帰モデル
$$
\begin{eqnarray}
y_i&=&\alpha+\beta x_i +\epsilon_i\;(i=1,\cdots,n)\;\dots\;\epsilon_i \overset{iid}{\sim} \mathrm{N}\left(0,\sigma^2\right)
\end{eqnarray}
$$
単回帰モデルに対する線形推定量の期待値
単回帰モデルの線形推定量に対して期待値を求めると，以下のように式展開される．
$$
\begin{eqnarray}
\mathrm{E}\left[\sum_{i=1}^n c_iy_i\right]
&=&\mathrm{E}\left[\sum_{i=1}^n c_i\left(\alpha+\beta x_i +\epsilon_i\right)\right]
\;\cdots\;y_i=\alpha+\beta x_i +\epsilon_i
\\&=&\mathrm{E}\left[\sum_{i=1}^n c_i\alpha+\sum_{i=1}^nc_i\beta x_i +\sum_{i=1}^nc_i\epsilon_i\right]
\;\cdots\;\sum\left(A+B\right)=\sum A+\sum B
\\&=&\mathrm{E}\left[\alpha\sum_{i=1}^n c_i+\beta\sum_{i=1}^nc_i x_i +\sum_{i=1}^nc_i\epsilon_i\right]
\;\cdots\;\sum cA=c\sum A
\\&=&\alpha\sum_{i=1}^n c_i+\beta\sum_{i=1}^nc_i x_i +\mathrm{E}\left[\sum_{i=1}^nc_i\epsilon_i\right]
\;\cdots\;\mathrm{E}\left[X+t\right]=\mathrm{E}\left[X\right]+t
\\&=&\alpha\sum_{i=1}^n c_i+\beta\sum_{i=1}^nc_i x_i +\sum_{i=1}^n\mathrm{E}\left[c_i\epsilon_i\right]
\;\cdots\;\mathrm{E}\left[\sum_{i=1}^n X_i\right]=\mathrm{E}\left[X_1+\cdots+X_n\right]=\mathrm{E}\left[X_1\right]+\cdots+\mathrm{E}\left[X_n\right]=\sum_{i=1}^n\mathrm{E}\left[X_i\right]
\\&=&\alpha\sum_{i=1}^n c_i+\beta\sum_{i=1}^nc_i x_i +\sum_{i=1}^nc_i\mathrm{E}\left[\epsilon_i\right]
\;\cdots\;\mathrm{E}\left[cX\right]=c\mathrm{E}\left[X\right]
\\&=&\alpha\sum_{i=1}^n c_i+\beta\sum_{i=1}^nc_i x_i +\sum_{i=1}^nc_i\cdot0
\;\cdots\;\mathrm{E}\left[\epsilon_i\right]=0
\\&=&\alpha\sum_{i=1}^n c_i+\beta\sum_{i=1}^nc_i x_i
\end{eqnarray}
$$
単回帰モデルに対する線形推定量の分散
$$
\begin{eqnarray}
\mathrm{V}\left[\sum_{i=1}^n c_iy_i\right]&=&\sum_{i=1}^n \mathrm{V}\left[c_iy_i\right]
\\&=&\sum_{i=1}^n c_i^2\mathrm{V}\left[y_i\right]
\\&=&\sum_{i=1}^n c_i^2\sigma^2
\\&=&\sigma^2\sum_{i=1}^n c_i^2
\end{eqnarray}
$$
\(\beta\)の線形推定量
単回帰モデルの推定量\(\beta\)の線形推定量を\(\tilde{\beta}\)とすると，この期待値は以下のように求められる．
$$
\begin{eqnarray}
\mathrm{E}\left[\tilde{\beta}\right]&=&\mathrm{E}\left[\sum_{i=1}^n c_iy_i\right]
\;\cdots\;線形推定量とする仮定より\tilde{\beta}=\sum_{i=1}^n c_iy_i
\\&=&\alpha\sum_{i=1}^n c_i+\beta\sum_{i=1}^nc_i x_i
\end{eqnarray}
$$
この\(\tilde{\beta}\)が不偏推定量であるためには上記の\(\tilde{\beta}\)の期待値が\(\beta\)である必要がある.
よって式展開した結果の\(\alpha,\beta\)の係数である\(\sum_{i=1}^n c_i,\sum_{i=1}^n c_ix_i\)が以下の条件を満たす必要があるが，
逆に条件を満たせば不偏推定量である．
$$
\begin{eqnarray}
\left\{
\begin{array}
\\\sum_{i=1}^n c_i&=&0
\\\sum_{i=1}^nc_i x_i&=&1
\end{array}
\right.
\end{eqnarray}
$$
不偏推定量となる線形推定量\(\tilde{\beta}\)の中で分散\(\sigma^2\sum_{i=1}^n c_i^2\)が最小となるものを
最良線形不偏推定量(best linear unbiased estimator; BLUE)と呼ぶ．ここでは\(\hat{\beta}_{BLUE}\)と表すこととする．
$$
\begin{eqnarray}
\left\{
\begin{array}
\\f(c_1,\cdots,c_n)&=&\sigma^2\sum_{i=1}^nc_i^2&&最小&目的凾数
\\g(c_1,\cdots,c_n)&=&\sum_{i=1}^n c_i&=&0&制約条件
\\h(c_1,\cdots,c_n)&=&\sum_{i=1}^nc_i x_i-1&=&0&制約条件
\end{array}
\right.
\end{eqnarray}
$$
\(\hat{\beta}_{BLUE}\)の最良線形不偏推定量を求める
ラグランジュの未定乗数法を用いる．束縛条件に係数をかけて目的凾数と線形結合した式を作成する．
$$
\begin{eqnarray}
L&=&L(c_1,\cdots,c_n,\lambda,\mu)
\\&=&f(c_1,\cdots,c_n)+\lambda g(c_1,\cdots,c_n) + \mu h(c_1,\cdots,c_n)
\\&=&\sigma^2\left(\sum_{i=1}^nc_i^2\right)+\lambda\left(\sum_{i=1}^n c_i\right)+\mu\left(\sum_{i=1}^n c_ix_i-1\right)
\end{eqnarray}
$$
\(L\)を各変数\(c_i\)で微分したものを連立させる．
$$
\begin{eqnarray}
\frac{\partial L}{\partial c_i}&=&0&(i=1,\cdots,n)
\\2\sigma^2c_i+\lambda+\mu x_i&=&0&(i=1,\cdots,n)&\;\cdots\;Lをc_iで微分したn個の等式ができる\cdots式A
\end{eqnarray}
$$
連立させた式をまとめた式を一つ作る(その1)．
$$
\begin{eqnarray}
2\sigma^2\sum_{i=1}^n c_i+\lambda \sum_{i=1}^n 1+\mu \sum_{i=1}^n x_i &=&0&&\;\cdots\;式Aをiについて和をとった
\\2\sigma^2\sum_{i=1}^n c_i+\lambda \cdot n+\mu n\bar{x} &=&0&&\;\cdots\;\sum_{i=1}^n 1=n,\;\sum_{i=1}^nx_i=n\bar{x}
\\2\sigma^2\cdot 0+\lambda \cdot n+\mu n\bar{x} &=&0&&\;\cdots\;\sum_{i=1}^n c_i=0(制約条件)
\\\lambda n+\mu n\bar{x} &=&0
\end{eqnarray}
$$
連立させた式をまとめた式を一つ作る(その2)．
$$
\begin{eqnarray}
c_i\left(2\sigma^2c_i+\lambda+\mu x_i\right)&=&c_i 0&(i=1,\cdots,n)&\;\cdots\;式Aを両辺c_i倍した
\\2\sigma^2c_i^2+\lambda c_i+\mu c_ix_i &=&0&(i=1,\cdots,n)
\\2\sigma^2\sum_{i=1}^n c_i^2+\lambda \sum_{i=1}^n c_i+\mu \sum_{i=1}^n c_ix_i &=&0&&\;\cdots\;iについて和をとった
\\2\sigma^2\sum_{i=1}^n c_i^2+\lambda \cdot 0+\mu \cdot 1 &=&0&&\;\cdots\;\sum_{i=1}^n c_i=0(制約条件),\;\sum_{i=1}^nc_i x_i=1(制約条件)
\\2\sigma^2\sum_{i=1}^n c_i^2+\mu &=&0
\end{eqnarray}
$$
連立させた式をまとめた式を一つ作る(その3)．
$$
\begin{eqnarray}
x_i\left(2\sigma^2c_i+\lambda+\mu x_i\right)&=&x_i 0&(i=1,\cdots,n)&\;\cdots\;式Aを両辺x_i倍した
\\2\sigma^2c_ix_i+\lambda x_i+\mu x_i^2 &=&0&(i=1,\cdots,n)
\\2\sigma^2\sum_{i=1}^nc_ix_i+\lambda \sum_{i=1}^nx_i+\mu \sum_{i=1}^nx_i^2 &=&0&&\;\cdots\;iについて和をとった
\\2\sigma^2\sum_{i=1}^nc_ix_i+\lambda n\bar{x}+\mu \sum_{i=1}^nx_i^2 &=&0&&\;\cdots\;\sum_{i=1}^nx_i=n\bar{x}
\\2\sigma^2\cdot 1+\lambda \cdot n\bar{x}+\mu \sum_{i=1}^nx_i^2 &=&0&&\;\cdots\;\sum_{i=1}^nc_i x_i=1(制約条件)
\\2\sigma^2+\lambda n\bar{x}+\mu \sum_{i=1}^nx_i^2 &=&0
\end{eqnarray}
$$
まとめた式を改めて連立させる．
$$
\begin{eqnarray}
\left\{
\begin{array}
\\\lambda n+\mu n\bar{x} &=&0
\\2\sigma^2\sum_{i=1}^n c_i^2+\mu &=&0
\\2\sigma^2+\lambda n\bar{x}+\mu \sum_{i=1}^nx_i^2 &=&0
\end{array}
\right.
\end{eqnarray}
$$
\(\hat{\beta}_{BLUE}\)の\(\lambda,\mu\)を求める
改めて連立させた式を用いて定数\(\lambda,\mu\)を求めていく．
$$
\begin{eqnarray}
\lambda n &=& -\mu n\bar{x}
\\\lambda &=& \frac{-\mu n\bar{x}}{n}
\\ &=& -\mu \bar{x}
\\2\sigma^2+\lambda n\bar{x}+\mu \sum_{i=1}^nx_i^2 &=&0
\\2\sigma^2+\left(-\mu \bar{x}\right) n\bar{x}+\mu \sum_{i=1}^nx_i^2 &=&0
\\2\sigma^2-\mu n\bar{x}^2+\mu \sum_{i=1}^nx_i^2 &=&0
\\-\mu n\bar{x}^2+\mu \sum_{i=1}^nx_i^2 &=&-2\sigma^2
\\\mu\left(\sum_{i=1}^nx_i^2-n\bar{x}^2\right) &=&-2\sigma^2
\\\mu S_{xx} &=&-2\sigma^2
\;\cdots\;\href{https://shikitenkai.blogspot.com/2020/10/sxx.html}{S_{xx}=\sum_{i=1}^nx_i^2-n\bar{x}^2}
\\\mu&=&\frac{-2\sigma^2}{S_{xx}}
\\\lambda &=&-\mu \bar{x}
\\&=&-\frac{-2\sigma^2}{S_{xx}}\bar{x}
\\&=&\frac{2\sigma^2\bar{x}}{S_{xx}}
\end{eqnarray}
$$
\(\hat{\beta}_{BLUE}\)の\(c_i\)を求める
求めた定数\(\lambda,\mu\)を用いて，最小となる変数\(c_i\)を求める．
$$
\begin{eqnarray}
2\sigma^2c_i+\lambda+\mu x_i&=&0
\\2\sigma^2c_i+\frac{2\sigma^2\bar{x}}{S_{xx}}+\frac{-2\sigma^2}{S_{xx}} x_i&=&0
\\2\sigma^2c_i-\frac{2\sigma^2}{S_{xx}}\left(x_i-\bar{x}\right) &=&0
\\2\sigma^2c_i &=&\frac{2\sigma^2}{S_{xx}}\left(x_i-\bar{x}\right)
\\c_i &=&\frac{1}{2\sigma^2}\frac{2\sigma^2}{S_{xx}}\left(x_i-\bar{x}\right)
\\&=&\frac{1}{S_{xx}}\left(x_i-\bar{x}\right)
\end{eqnarray}
$$
これは
最小二乗推定量\(\hat{\beta}\)と同じである．
$$
\begin{eqnarray}
\hat{\beta}_{BLUE}&=&\sum_{i=1}^n c_iy_i
\\&=&\sum_{i=1}^n\frac{1}{S_{xx}}\left(x_i-\bar{x}\right) y_i
\;\cdots\;c_i=\frac{1}{S_{xx}}\left(x_i-\bar{x}\right)
\\&=&\frac{1}{S_{xx}}\sum_{i=1}^n\left(x_i-\bar{x}\right) y_i
\;\cdots\;\sum cA_i=c\sum A_i
\\&=&\frac{S_{xy}}{S_{xx}}
\;\cdots\;\href{https://shikitenkai.blogspot.com/2020/10/sxy.html}{\sum_{i=1}^n\left(x_i-\bar{x}\right)y_i=S_{xy}}
\\&=&\hat{\beta}
\;\cdots\;\href{https://shikitenkai.blogspot.com/2020/03/blog-post.html}{\hat{\beta}=\frac{S_{xy}}{S_{xx}}}
\end{eqnarray}
$$
\(\hat{\beta}_{BLUE}\)の分散
\(\hat{\beta}_{BLUE}\)の分散\(\sigma^2\sum_{i=1}^n c_i^2\)を最小とするための変数\(c_i\)を用いて以下のようになる．
$$
\begin{eqnarray}
2\sigma^2\sum_{i=1}^n c_i^2+\mu &=&0
\\2\sigma^2\sum_{i=1}^n c_i^2+\frac{-2\sigma^2}{S_{xx}} &=&0
\\2\sigma^2\sum_{i=1}^n c_i^2&=&\frac{2\sigma^2}{S_{xx}}
\\\sigma^2\sum_{i=1}^n c_i^2&=&\frac{2\sigma^2}{2S_{xx}}
\\&=&\sigma^2\frac{1}{S_{xx}}
\end{eqnarray}
$$
0 件のコメント:
コメントを投稿