線形単回帰の回帰直線 / 最小二乗推定量(least squares estimate; LSE)

線形単回帰の回帰直線

$X$を説明変数(独立変数)，$Y$を目的変数(従属変数)とし，線形単回帰として以下のよう関係を考える．この時，同式が直線を表すことから回帰直線と呼ぶ． $$\begin{array}{rcl}Y& =& \alpha +\beta X\end{array}$$ 線形単回帰としてデータを捉えるのでデータも次の構造式で考える． $$\begin{array}{rcl}{y}_i& =& \alpha +\beta x_i+{ϵ}_i\dots {ϵ}_i\stackrel{iid}{\sim }N(0,{\sigma }^2)\end{array}$$ 回帰直線で推定される$X=x_i$に対応する$Y$の値を${\hat{y}}_i$とする．また${\hat{y}}_i$を求めるためのパラメタ$\alpha ,\beta$の推定値として$\hat{\alpha },\hat{\beta }$とすると以下のような式となる． $$\begin{array}{rcl}\widehat{y_i}& =& \hat{\alpha }+\hat{\beta }{x}_i\end{array}$$
平均や平方和． $$\begin{array}{rcl}\overline{x}& =& \frac{1}{n}\sum _{i=1}^n{x}_i\\ \overline{y}& =& \frac{1}{n}\sum _{i=1}^n{y}_i\\ S_{xx}& =& \sum _{i=1}^n{(x_i-\overline{x})}^2\\ & =& \sum _{i=1}^n(x_i^2-2x_i\overline{x}+{\overline{x}}^2)\\ & =& \left(\sum _{i=1}^n{x}_i^2\right)-2\left(\sum _{i=1}^n{x}_i\right)\overline{x}+{\overline{x}}^2\left(\sum _{i=1}^{n}1\right)\\ & =& \left(\sum _{i=1}^n{x}_i^2\right)-2n{\overline{x}}^2+n{\overline{x}}^2\dots \sum _{i=1}^n{x}_i=n\overline{x}\\ & =& \left(\sum _{i=1}^n{x}_i^2\right)-n{\overline{x}}^2\\ S_{yy}& =& \sum _{i=1}^n{(y_i-\overline{y})}^2\\ & =& \sum _{i=1}^n(y_i^2-2y_i\overline{y}+{\overline{y}}^2)\\ & =& \left(\sum _{i=1}^n{y}_i^2\right)-2\left(\sum _{i=1}^n{y}_i\right)\overline{y}+{\overline{y}}^2\left(\sum _{i=1}^{n}1\right)\\ & =& \left(\sum _{i=1}^n{y}_i^2\right)-2n{\overline{y}}^2+n{\overline{y}}^2\dots \sum _{i=1}^n{y}_i=n\overline{y}\\ & =& \left(\sum _{i=1}^n{y}_i^2\right)-n{\overline{y}}^2\\ S_{xy}& =& \sum _{i=1}^n(x_i-\overline{x})(y_i-\overline{y})\\ & =& \sum _{i=1}^n(x_i{y}_i-x_i\overline{y}-\overline{x}{y}_i+\overline{x}\overline{y})\\ & =& \left(\sum _{i=1}^n{x}_i{y}_i\right)-\left(\sum _{i=1}^n{x}_i\right)\overline{y}-\overline{x}\left(\sum _{i=1}^n{y}_i\right)+\overline{x}\overline{y}\left(\sum _{i=1}^{n}1\right)\\ & =& \left(\sum _{i=1}^n{x}_i{y}_i\right)-n\overline{x}\overline{y}-n\overline{x}\overline{y}+n\overline{x}\overline{y}\dots \sum _{i=1}^n{x}_i=n\overline{x},\sum _{i=1}^n{y}_i=n\overline{y}\\ & =& \left(\sum _{i=1}^n{x}_i{y}_i\right)-n\overline{x}\overline{y}\end{array}$$ 残差平方和$S_e$を展開する. $$\begin{array}{rcl}{S}_e& =& \sum _{i=1}^n{e}_i^2\\ & =& \sum _{i=1}^n{(y_i-\widehat{y_i})}^2\dots e_i=y_i-\widehat{y_i}\\ & =& \sum _{i=1}^n{\{y_i-(\hat{\alpha }+\hat{\beta }{x}_i)\}}^2\dots \widehat{y_i}=\hat{\alpha }+\hat{\beta }{x}_i\\ & =& \sum _{i=1}^n\{y_i^2-2y_i(\hat{\alpha }+\hat{\beta }{x}_i)+{(\hat{\alpha }+\hat{\beta }{x}_i)}^2\}\dots (a-b{)}^2=a^2-2ab+b^2\\ & =& \sum _{i=1}^n(y_i^2-2y_i\hat{\alpha }-2x_i{y}_i\hat{\beta }+{\hat{\alpha }}^2+2x_i\hat{\alpha }\hat{\beta }+x_i^2{\hat{\beta }}^2)\\ & =& \left(\sum _{i=1}^n{y}_i^2\right)-2\left(\sum _{i=1}^n{y}_i\right)\hat{\alpha }-2\left(\sum _{i=1}^n{x}_i{y}_i\right)\hat{\beta }+\left(\sum _{i=1}^{n}1\right){\hat{\alpha }}^2+2\left(\sum _{i=1}^n{x}_i\right)\hat{\alpha }\hat{\beta }+\left(\sum _{i=1}^n{x}_i^2\right){\hat{\beta }}^2\dots \sum _{i=0}^n(a_i+b_i)=\sum _{i=0}^n{a}_i+\sum _{i=0}^n{b}_i\\ & =& \left(\sum _{i=1}^n{y}_i^2\right)-2n\overline{y}\hat{\alpha }-2\left(\sum _{i=1}^n{x}_i{y}_i\right)\hat{\beta }+n{\hat{\alpha }}^2+2n\overline{x}\hat{\alpha }\hat{\beta }+\left(\sum _{i=1}^n{x}_i^2\right){\hat{\beta }}^2\dots \sum _{i=1}^n{x}_i=n\overline{x},\sum _{i=1}^n{y}_i=n\overline{y},\sum _{i=1}^{n}1=n\end{array}$$ 極値となる$\hat{\alpha },\hat{\beta }$を求めるため$S_e$の$\alpha ,\beta$での偏微分を求める． $$\begin{array}{rcl}\frac{\partial S_e}{\partial \hat{\alpha }}& =& -2n\overline{y}+2n\hat{\alpha }+2n\overline{x}\hat{\beta }\\ & =& 2n(\hat{\alpha }+\overline{x}\hat{\beta }-\overline{y})\\ \frac{\partial S_e}{\partial \hat{\beta }}& =& -2\left(\sum _{i=1}^n{x}_i{y}_i\right)+2n\overline{x}\hat{\alpha }+2\left(\sum _{i=1}^n{x}_i^2\right)\hat{\beta }\\ & =& 2\{-\left(\sum _{i=1}^n{x}_i{y}_i\right)+n\overline{x}\hat{\alpha }+\left(\sum _{i=1}^n{x}_i^2\right)\hat{\beta }\}\end{array}$$ 二階の偏微分はそれぞれ常に正の数なので極小となる． $$\begin{array}{rcl}\frac{{\partial }^2{S}_e}{\partial {\hat{\alpha }}^2}& =& 2n>0\\ \frac{{\partial }^2{S}_e}{\partial {\hat{\beta }}^2}& =& 2\left(\sum _{i=1}^n{x}_i^2\right)>0\end{array}$$ 一階の偏微分を連立させる$\frac{\partial S_e}{\partial \hat{\alpha }}=0,\frac{\partial S_e}{\partial \hat{\beta }}=0$． これにより$\alpha ,\beta$の推定値$\hat{\alpha },\hat{\beta }$を求める． $$\{\begin{array}{rcl}2n(\hat{\alpha }+\overline{x}\hat{\beta }-\overline{y})& =& 0\\ 2\{-\left(\sum _{i=1}^n{x}_i{y}_i\right)+n\overline{x}\hat{\alpha }+\left(\sum _{i=1}^n{x}_i^2\right)\hat{\beta }\}& =& 0\end{array}$$ $$\{\begin{array}{rcl}\hat{\alpha }+\overline{x}\hat{\beta }-\overline{y}& =& 0\\ n\overline{x}\hat{\alpha }+\left(\sum _{i=1}^n{x}_i^2\right)\hat{\beta }-\left(\sum _{i=1}^n{x}_i{y}_i\right)& =& 0\end{array}$$ 上記を正規方程式(normal equation)という．
一つ目の式を$\hat{\alpha }$について解く． $$\begin{array}{rcl}\hat{\alpha }+\overline{x}\hat{\beta }-\overline{y}& =& 0\\ \hat{\alpha }& =& \overline{y}-\overline{x}\hat{\beta }\end{array}$$ 二つ目の式の$\hat{\alpha }$にこれを代入する． $$\begin{array}{rcl}n\overline{x}\hat{\alpha }+\left(\sum _{i=1}^n{x}_i^2\right)\hat{\beta }-\left(\sum _{i=1}^n{x}_i{y}_i\right)& =& 0\\ n\overline{x}(\overline{y}-\overline{x}\hat{\beta })+\left(\sum _{i=1}^n{x}_i^2\right)\hat{\beta }-\left(\sum _{i=1}^n{x}_i{y}_i\right)& =& 0\\ n\overline{x}\overline{y}-n{\overline{x}}^2\hat{\beta }+\left(\sum _{i=1}^n{x}_i^2\right)\hat{\beta }-\left(\sum _{i=1}^n{x}_i{y}_i\right)& =& 0\\ n\overline{x}\overline{y}+\{\left(\sum _{i=1}^n{x}_i^2\right)-n{\overline{x}}^2\}\hat{\beta }-\left(\sum _{i=1}^n{x}_i{y}_i\right)& =& 0\\ \{\left(\sum _{i=1}^n{x}_i^2\right)-n{\overline{x}}^2\}\hat{\beta }& =& \left(\sum _{i=1}^n{x}_i{y}_i\right)-n\overline{x}\overline{y}\\ \hat{\beta }& =& \frac{\left(\sum _{i=1}^n{x}_i{y}_i\right)-n\overline{x}\overline{y}}{\left(\sum _{i=1}^n{x}_i^2\right)-n{\overline{x}}^2}\\ & =& \frac{S_{xy}}{S_{xx}}\end{array}$$ よって回帰直線の係数$\hat{\alpha },\hat{\beta }$は以下のようになる． $$\begin{array}{rcl}\hat{\alpha }& =& \overline{y}-\beta \overline{x}=\overline{y}-\frac{S_{xy}}{S_{xx}}\overline{x}\\ \hat{\beta }& =& \frac{S_{xy}}{S_{xx}}\end{array}$$ 残差の二乗を最小とするように求めたこの$\hat{\alpha },\hat{\beta }$を最小二乗推定量(least squares estimate; LSE)と呼ぶ．
$\hat{\beta }$の分母は$S_{xx}=\sum _{i=0}^n{(x_i-\overline{x})}^2$であり，$0$または正の値である($0$は全ての$x_i$が$\overline{x}$と等しいとき)． よって回帰直線の傾きは$S_{xy}$によるものである．
また$\hat{\alpha },\hat{\beta }$を求める際に用いた正規方程式にあるように，この直線が$(\overline{x},\overline{y})$を通ることがわかる． $$\begin{array}{rcl}\hat{\alpha }+\overline{x}\hat{\beta }-\overline{y}& =& 0\cdots \mathrm{正}\mathrm{規}\mathrm{方}\mathrm{程}\mathrm{式}\mathrm{の}1\mathrm{つ}\mathrm{目}\mathrm{の}\mathrm{式}\\ \overline{y}& =& \hat{\alpha }+\overline{x}\hat{\beta }\end{array}$$