線形単回帰の回帰直線
\(X\)を説明変数(独立変数)，\(Y\)を目的変数(従属変数)とし，線形単回帰として以下のよう関係を考える．この時，同式が直線を表すことから回帰直線と呼ぶ． $$\begin{eqnarray} Y&=&\alpha+\beta X\\ \end{eqnarray}$$ 線形単回帰としてデータを捉えるのでデータも次の構造式で考える． $$\begin{eqnarray} y_i&=&\alpha+\beta x_i +\epsilon_i\;\dots\;\epsilon_i \overset{iid}{\sim} N(0,\sigma^2)\\ \end{eqnarray}$$ 回帰直線で推定される\(X=x_i\)に対応する\(Y\)の値を\(\hat{y}_i\)とする．また\(\hat{y}_i\)を求めるためのパラメタ\(\alpha,\beta\)の推定値として\(\hat{\alpha},\hat{\beta}\)とすると以下のような式となる． $$\begin{eqnarray} \hat{y_i}&=&\hat{\alpha}+\hat{\beta} x_i\\ \end{eqnarray}$$平均や平方和． $$\begin{eqnarray} \bar{x}&=&\frac{1}{n}\sum_{i=1}^{n}x_i\\ \bar{y}&=&\frac{1}{n}\sum_{i=1}^{n}y_i\\ S_{xx}&=&\sum_{i=1}^{n}{\left(x_i - \bar{x}\right)^2}\\ &=&\sum_{i=1}^{n}{\left(x_i^2 -2x_i \bar{x}+\bar{x}^2\right)}\\ &=&\left(\sum_{i=1}^{n}x_i^2\right) -2\left(\sum_{i=1}^{n}x_i\right)\bar{x}+\bar{x}^2\left(\sum_{i=1}^{n}1\right)\\ &=&\left(\sum_{i=1}^{n}x_i^2\right) -2n\bar{x}^2+n\bar{x}^2\;\dots\;\sum_{i=1}^{n}x_i=n\bar{x}\\ &=&\left(\sum_{i=1}^{n}x_i^2\right) -n\bar{x}^2\\ S_{yy}&=&\sum_{i=1}^{n}{\left(y_i - \bar{y}\right)^2}\\ &=&\sum_{i=1}^{n}{\left(y_i^2 -2y_i \bar{y}+\bar{y}^2\right)}\\ &=&\left(\sum_{i=1}^{n}y_i^2\right) -2\left(\sum_{i=1}^{n}y_i\right)\bar{y}+\bar{y}^2\left(\sum_{i=1}^{n}1\right)\\ &=&\left(\sum_{i=1}^{n}y_i^2\right) -2n\bar{y}^2+n\bar{y}^2\;\dots\;\sum_{i=1}^{n}y_i=n\bar{y}\\ &=&\left(\sum_{i=1}^{n}y_i^2\right) -n\bar{y}^2\\ S_{xy}&=&\sum_{i=1}^{n}{\left(x_i - \bar{x}\right)\left(y_i - \bar{y}\right)}\\ &=&\sum_{i=1}^{n}{\left(x_i y_i -x_i \bar{y}-\bar{x}y_i+\bar{x}\bar{y}\right)}\\ &=&\left(\sum_{i=1}^{n}x_i y_i\right) -\left(\sum_{i=1}^{n}x_i\right)\bar{y}-\bar{x}\left(\sum_{i=1}^{n}y_i\right)+\bar{x}\bar{y}\left(\sum_{i=1}^{n}1\right)\\ &=&\left(\sum_{i=1}^{n}x_i y_i\right) -n\bar{x}\bar{y}-n\bar{x}\bar{y}+n\bar{x}\bar{y}\;\dots\;\sum_{i=1}^{n}x_i=n\bar{x},\;\sum_{i=1}^{n}y_i=n\bar{y}\\ &=&\left(\sum_{i=1}^{n}x_i y_i\right) -n\bar{x}\bar{y}\\ \end{eqnarray}$$ 残差平方和\(S_e\)を展開する. $$\begin{eqnarray} S_e &=&\sum_{i=1}^n e_i^2\\ &=&\sum_{i=1}^n \left( y_i - \hat{y_i}\right)^2\;\dots\;e_i=y_i - \hat{y_i}\\ &=&\sum_{i=1}^n \left\{ y_i - \left(\hat{\alpha}+\hat{\beta} x_i\right)\right\}^2\;\dots\;\hat{y_i}=\hat{\alpha}+\hat{\beta} x_i\\ &=&\sum_{i=1}^n \left\{ y_i^2 - 2y_i\left(\hat{\alpha}+\hat{\beta} x_i\right)+\left(\hat{\alpha}+\hat{\beta} x_i\right)^2\right\}\;\dots\;(a-b)^2=a^2-2ab+b^2\\ &=&\sum_{i=1}^n \left( y_i^2 - 2y_i\hat{\alpha}- 2x_i y_i\hat{\beta}+\hat{\alpha}^2+2x_i\hat{\alpha}\hat{\beta}+x_i^2\hat{\beta}^2\right)\\ &=&\left(\sum_{i=1}^n y_i^2\right) - 2\left(\sum_{i=1}^n y_i\right)\hat{\alpha}- 2\left(\sum_{i=1}^n x_i y_i\right)\hat{\beta}+\left(\sum_{i=1}^n 1\right)\hat{\alpha}^2+2\left(\sum_{i=1}^n x_i\right)\hat{\alpha}\hat{\beta}+\left(\sum_{i=1}^n x_i^2\right)\hat{\beta}^2 \;\dots\;\sum_{i=0}^n\left(a_i+b_i\right)=\sum_{i=0}^n a_i+\sum_{i=0}^n b_i\\ &=&\left(\sum_{i=1}^n y_i^2\right) - 2n\bar{y}\hat{\alpha}- 2\left(\sum_{i=1}^n x_i y_i\right)\hat{\beta}+n\hat{\alpha}^2+2n\bar{x}\hat{\alpha}\hat{\beta}+\left(\sum_{i=1}^n x_i^2\right)\hat{\beta}^2 \;\dots\;\sum_{i=1}^{n}x_i=n\bar{x},\;\sum_{i=1}^{n}y_i=n\bar{y},\;\sum_{i=1}^{n}1=n\\ \end{eqnarray}$$ 極値となる\(\hat{\alpha},\hat{\beta}\)を求めるため\(S_e\)の\(\alpha,\beta\)での偏微分を求める． $$\begin{eqnarray} \frac{\partial S_e}{\partial \hat{\alpha}}&=& -2n\bar{y}+2n\hat{\alpha}+2n\bar{x}\hat{\beta}\\ &=&2n\left(\hat{\alpha}+\bar{x}\hat{\beta}-\bar{y}\right)\\ \frac{\partial S_e}{\partial \hat{\beta}}&=& -2\left(\sum_{i=1}^n x_i y_i\right)+2n\bar{x}\hat{\alpha}+2\left(\sum_{i=1}^n x_i^2\right)\hat{\beta}\\ &=& 2\left\{ -\left(\sum_{i=1}^n x_i y_i\right)+n\bar{x}\hat{\alpha}+\left(\sum_{i=1}^n x_i^2\right)\hat{\beta} \right\} \end{eqnarray}$$ 二階の偏微分はそれぞれ常に正の数なので極小となる． $$\begin{eqnarray} \frac{\partial^2 S_e}{\partial \hat{\alpha}^2}&=& 2n \gt 0\\ \frac{\partial^2 S_e}{\partial \hat{\beta}^2} &=& 2\left(\sum_{i=1}^n x_i^2\right) \gt 0\\ \end{eqnarray}$$ 一階の偏微分を連立させる\(\frac{\partial S_e}{\partial \hat{\alpha}}=0,\frac{\partial S_e}{\partial \hat{\beta}}=0\)． これにより\(\alpha,\beta\)の推定値\(\hat{\alpha},\hat{\beta}\)を求める． $$\left\{ \begin{eqnarray} 2n\left(\hat{\alpha}+\bar{x}\hat{\beta}-\bar{y}\right)&=&0\\ 2\left\{ -\left(\sum_{i=1}^n x_i y_i\right)+n\bar{x}\hat{\alpha}+\left(\sum_{i=1}^n x_i^2\right)\hat{\beta} \right\}&=&0\\ \end{eqnarray} \right.\\$$ $$\left\{ \begin{eqnarray} \hat{\alpha}+\bar{x}\hat{\beta}-\bar{y} &=&0\\ n\bar{x}\hat{\alpha}+\left(\sum_{i=1}^n x_i^2\right)\hat{\beta}-\left(\sum_{i=1}^n x_i y_i\right) &=&0\\ \end{eqnarray} \right.\\$$ 上記を正規方程式(normal equation)という．
一つ目の式を\(\hat{\alpha}\)について解く． $$\begin{eqnarray} \hat{\alpha}+\bar{x}\hat{\beta}-\bar{y}&=&0\\ \hat{\alpha}&=&\bar{y}-\bar{x}\hat{\beta}\\ \end{eqnarray}$$ 二つ目の式の\(\hat{\alpha}\)にこれを代入する． $$\begin{eqnarray} n\bar{x}\hat{\alpha}+\left(\sum_{i=1}^n x_i^2\right)\hat{\beta}-\left(\sum_{i=1}^n x_i y_i\right)&=&0\\ n\bar{x}\left(\bar{y}-\bar{x}\hat{\beta}\right)+\left(\sum_{i=1}^n x_i^2\right)\hat{\beta}-\left(\sum_{i=1}^n x_i y_i\right)&=&0\\ n\bar{x}\bar{y}-n\bar{x}^2\hat{\beta}+\left(\sum_{i=1}^n x_i^2\right)\hat{\beta}-\left(\sum_{i=1}^n x_i y_i\right)&=&0\\ n\bar{x}\bar{y}+\left\{\left(\sum_{i=1}^n x_i^2\right)-n\bar{x}^2\right\}\hat{\beta}-\left(\sum_{i=1}^n x_i y_i\right)&=&0\\ \left\{\left(\sum_{i=1}^n x_i^2\right)-n\bar{x}^2\right\}\hat{\beta}&=&\left(\sum_{i=1}^n x_i y_i\right)-n\bar{x}\bar{y}\\ \hat{\beta}&=&\frac{\left(\sum_{i=1}^n x_i y_i\right)-n\bar{x}\bar{y}}{\left(\sum_{i=1}^n x_i^2\right)-n\bar{x}^2}\\ &=&\frac{S_{xy}}{S_{xx}}\\ \end{eqnarray}$$ よって回帰直線の係数\(\hat{\alpha},\hat{\beta}\)は以下のようになる． $$\begin{eqnarray} \hat{\alpha}&=&\bar{y}-\beta\bar{x}=\bar{y}-\frac{S_{xy}}{S_{xx}}\bar{x}\\ \hat{\beta}&=&\frac{S_{xy}}{S_{xx}}\\ \end{eqnarray}$$ 残差の二乗を最小とするように求めたこの\(\hat{\alpha},\hat{\beta}\)を最小二乗推定量(least squares estimate; LSE)と呼ぶ．
\(\hat{\beta}\)の分母は\(S_{xx}=\sum_{i=0}^{n} \left(x_i-\bar{x}\right)^2\)であり，\(0\)または正の値である(\(0\)は全ての\(x_i\)が\(\bar{x}\)と等しいとき)． よって回帰直線の傾きは\(S_{xy}\)によるものである．
また\(\hat{\alpha},\hat{\beta}\)を求める際に用いた正規方程式にあるように，この直線が\(\left(\bar{x},\bar{y}\right)\)を通ることがわかる． $$\begin{eqnarray} \hat{\alpha}+\bar{x}\hat{\beta}-\bar{y}&=&0 \;\cdots\;正規方程式の1つ目の式 \\\bar{y}&=&\hat{\alpha}+\bar{x}\hat{\beta}\\ \end{eqnarray}$$
0 件のコメント:
コメントを投稿