回帰による変動の平方和と全平方和の比率

回帰による変動の平方和と全平方和の比率

また全平方和$S_T$のうち回帰による変動の平方和$S_R$の比率を寄与率，あるいは決定係数$R^2$という． $$\begin{array}{rcl}{R}^2& =& \frac{S_R}{S_T}\\ & =& \frac{S_R}{S_{yy}}\dots S_T=S_{yy}\\ & =& \frac{\frac{S_{xy}^2}{S_{xx}}}{S_{yy}}\dots S_R=\frac{S_{xy}^2}{S_{xx}}\\ & =& \frac{S_{xy}^2}{S_{xx}{S}_{yy}}\\ & =& {\left(\frac{S_{xy}}{\sqrt{S_{xx}}\sqrt{S_{yy}}}\right)}^2\\ & =& {\left(\frac{\frac{S_{xy}}{n-1}}{\sqrt{\frac{S_{xx}}{n-1}}\sqrt{\frac{S_{yy}}{n-1}}}\right)}^2\\ & =& \frac{Cov[X,Y{]}^2}{V[X]V[Y]}\dots Cov[X,Y]=E\left[\{X-E\left[X\right]\}\{Y-E\left[Y\right]\}\right],V\left[X\right]=E\left[{\{X-E\left[X\right]\}}^2\right]\\ & =& {\rho }^2\dots \frac{Cov[X,Y]}{\sqrt{V[X]}\sqrt{V[Y]}}=\rho (\mathrm{相}\mathrm{関}\mathrm{係}\mathrm{数})\\ R^2=\frac{S_R}{S_T}& =& \frac{S_T-Se}{S_T}=1-\frac{S_e}{S_T}\dots S_R=S_T-Se\\ & =& \frac{S_T-Se}{S_{yy}}=1-\frac{S_e}{S_{yy}}\end{array}$$

残差平方和とデータの各平方和

残差平方和とデータの各平方和

$$\begin{array}{rcl}{S}_e& =& \sum _{i=1}^n{e}_i^2\\ & =& \sum _{i=1}^n{(y_i-\widehat{y_i})}^2\dots \widehat{y_i}=\hat{\alpha }+\hat{\beta }{x}_i\\ & =& \left(\sum _{i=1}^n{y}_i^2\right)-2n\overline{y}\hat{\alpha }-2\left(\sum _{i=1}^n{x}_i{y}_i\right)\hat{\beta }+n{\hat{\alpha }}^2+2n\overline{x}\hat{\alpha }\hat{\beta }+\left(\sum _{i=1}^n{x}_i^2\right){\hat{\beta }}^2\dots \mathrm{残}\mathrm{差}\mathrm{平}\mathrm{方}\mathrm{和}\mathrm{の}\mathrm{展}\mathrm{開}\mathrm{し}\mathrm{た}\mathrm{式}\\ & =& \left(\sum _{i=1}^n{y}_i^2\right)-2n\overline{y}(\overline{y}-\frac{S_{xy}}{S_{xx}}\overline{x})-2\left(\sum _{i=1}^n{x}_i{y}_i\right)\frac{S_{xy}}{S_{xx}}+n{(\overline{y}-\frac{S_{xy}}{S_{xx}}\overline{x})}^2+2n\overline{x}(\overline{y}-\frac{S_{xy}}{S_{xx}}\overline{x})\frac{S_{xy}}{S_{xx}}+\left(\sum _{i=1}^n{x}_i^2\right){\left(\frac{S_{xy}}{S_{xx}}\right)}^2\dots \hat{\alpha }=\overline{y}-\frac{S_{xy}}{S_{xx}}\overline{x},\hat{\beta }=\frac{S_{xy}}{S_{xx}}\\ & =& \left(\sum _{i=1}^n{y}_i^2\right)-2n{\overline{y}}^2+2n\frac{S_{xy}}{S_{xx}}\overline{x}\overline{y}-2\frac{S_{xy}}{S_{xx}}\left(\sum _{i=1}^n{x}_i{y}_i\right)+n{\overline{y}}^2-2n\frac{S_{xy}}{S_{xx}}\overline{x}\overline{y}+n{\left(\frac{S_{xy}}{S_{xx}}\right)}^2{\overline{x}}^2+2n\frac{S_{xy}}{S_{xx}}\overline{x}\overline{y}-2n{\left(\frac{S_{xy}}{S_{xx}}\right)}^2{\overline{x}}^2+\left(\sum _{i=1}^n{x}_i^2\right){\left(\frac{S_{xy}}{S_{xx}}\right)}^2\\ & =& \{\left(\sum _{i=1}^n{y}_i^2\right)-2n{\overline{y}}^2+n{\overline{y}}^2\}+\{2n\frac{S_{xy}}{S_{xx}}\overline{x}\overline{y}-2\frac{S_{xy}}{S_{xx}}\left(\sum _{i=1}^n{x}_i{y}_i\right)-2n\frac{S_{xy}}{S_{xx}}\overline{x}\overline{y}+2n\frac{S_{xy}}{S_{xx}}\overline{x}\overline{y}\}+\{n{\left(\frac{S_{xy}}{S_{xx}}\right)}^2{\overline{x}}^2-2n{\left(\frac{S_{xy}}{S_{xx}}\right)}^2{\overline{x}}^2+\left(\sum _{i=1}^n{x}_i^2\right){\left(\frac{S_{xy}}{S_{xx}}\right)}^2\}\\ & =& \{\left(\sum _{i=1}^n{y}_i^2\right)-n{\overline{y}}^2\}+\{2n\frac{S_{xy}}{S_{xx}}\overline{x}\overline{y}-2\frac{S_{xy}}{S_{xx}}\left(\sum _{i=1}^n{x}_i{y}_i\right)\}+\{-n{\left(\frac{S_{xy}}{S_{xx}}\right)}^2{\overline{x}}^2+\left(\sum _{i=1}^n{x}_i^2\right){\left(\frac{S_{xy}}{S_{xx}}\right)}^2\}\\ & =& \{\left(\sum _{i=1}^n{y}_i^2\right)-n{\overline{y}}^2\}-2\frac{S_{xy}}{S_{xx}}\{\left(\sum _{i=1}^n{x}_i{y}_i\right)-n\overline{x}\overline{y}\}+{\left(\frac{S_{xy}}{S_{xx}}\right)}^2\{\left(\sum _{i=1}^n{x}_i^2\right)-n{\overline{x}}^2\}\dots \sum _{i=1}^n{y}_i^2-n{\overline{y}}^2=S_{yy},\sum _{i=1}^n{x}_i^2-n{\overline{x}}^2=S_{xx},\sum _{i=1}^n{x}_i{y}_i-n\overline{x}\overline{y}=S_{xy}\\ & =& S_{yy}-2\frac{S_{xy}}{S_{xx}}{S}_{xy}+{\left(\frac{S_{xy}}{S_{xx}}\right)}^2{S}_{xx}\\ & =& S_{yy}-2\frac{S_{xy}^2}{S_{xx}}+\frac{S_{xy}^2}{S_{xx}}\\ & =& S_{yy}-\frac{S_{xy}^2}{S_{xx}}\end{array}$$ よって，残差平方和$S_e$はデータの各平方和($S_{xx},S_{yy},S_{xy}$)より求めることができる．

全平方和の分解

全平方和の分解

以下のような和を考える．第一項は回帰直線から推定される値$\widehat{y_i}$と目的変数の平均値$\overline{y}$との差の 平方和であり，第二項は残差平方和である． $$\begin{array}{rcl}& & \sum _{i=0}^n{(\widehat{y_i}-\overline{y})}^2+\sum _{i=0}^n{(y_i-\widehat{y_i})}^2\\ & =& \sum _{i=0}^n({\widehat{y_i}}^2-2\widehat{y_i}\overline{y}+{\overline{y}}^2)+\sum _{i=0}^n(y_i^2-2y_i\widehat{y_i}+{\widehat{y_i}}^2)\\ & =& \sum _{i=0}^n\{{(\alpha +\beta x_i)}^2-2(\alpha +\beta x_i)\overline{y}+{\overline{y}}^2\}+\sum _{i=0}^n\{y_i^2-2y_i(\alpha +\beta x_i)+{(\alpha +\beta x_i)}^2\}\\ & =& \sum _{i=0}^n({\alpha }^2+2\alpha \beta x_i+{\beta }^2{x}_i^2-2\alpha \overline{y}-2\beta \overline{y}{x}_i+{\overline{y}}^2)+\sum _{i=0}^n(y_i^2-2\alpha y_i-2\beta x_i{y}_i+{\alpha }^2+2\alpha \beta x_i+{\beta }^2{x}_i^2)\\ & =& \sum _{i=0}^n\{{(\overline{y}-\beta \overline{x})}^2+2(\overline{y}-\beta \overline{x})\beta x_i+{\beta }^2{x}_i^2-2(\overline{y}-\beta \overline{x})\overline{y}-2\beta \overline{y}{x}_i+{\overline{y}}^2\}+\sum _{i=0}^n\{y_i^2-2(\overline{y}-\beta \overline{x})y_i-2\beta x_i{y}_i+{(\overline{y}-\beta \overline{x})}^2+2(\overline{y}-\beta \overline{x})\beta x_i+{\beta }^2{x}_i^2\}\\ & =& \sum _{i=0}^n({\overline{y}}^2-2\beta \overline{x}\overline{y}+{\beta }^2{\overline{x}}^2+2\beta \overline{y}{x}_i-2{\beta }^2\overline{x}{x}_i+{\beta }^2{x}_i^2-2{\overline{y}}^2+2\beta \overline{x}\overline{y}-2\beta \overline{y}{x}_i+{\overline{y}}^2)+\sum _{i=0}^n(y_i^2-2\overline{y}{y}_i+2\beta \overline{x}{y}_i-2\beta x_i{y}_i+{\overline{y}}^2-2\beta \overline{x}\overline{y}+{\beta }^2{\overline{x}}^2+2\beta \overline{y}{x}_i-2{\beta }^2\overline{x}{x}_i+{\beta }^2{x}_i^2)\\ & =& {\overline{y}}^2\left(\sum _{i=0}^{n}1\right)-2\beta \overline{x}\overline{y}\left(\sum _{i=0}^{n}1\right)+{\beta }^2{\overline{x}}^2\left(\sum _{i=0}^{n}1\right)+2\beta \overline{y}\left(\sum _{i=0}^n{x}_i\right)-2{\beta }^2\overline{x}\left(\sum _{i=0}^n{x}_i\right)+{\beta }^2\left(\sum _{i=0}^n{x}_i^2\right)-2{\overline{y}}^2\left(\sum _{i=0}^{n}1\right)+2\beta \overline{x}\overline{y}\left(\sum _{i=0}^{n}1\right)-2\beta \overline{y}\left(\sum _{i=0}^n{x}_i\right)+{\overline{y}}^2\left(\sum _{i=0}^{n}1\right)\\ & & +\left(\sum _{i=0}^n{y}_i^2\right)-2\overline{y}\left(\sum _{i=0}^n{y}_i\right)+2\beta \overline{x}\left(\sum _{i=0}^n{y}_i\right)-2\beta \left(\sum _{i=0}^n{x}_i{y}_i\right)+{\overline{y}}^2\left(\sum _{i=0}^{n}1\right)-2\beta \overline{x}\overline{y}\left(\sum _{i=0}^{n}1\right)+{\beta }^2{\overline{x}}^2\left(\sum _{i=0}^{n}1\right)+2\beta \overline{y}\left(\sum _{i=0}^n{x}_i\right)-2{\beta }^2\overline{x}\left(\sum _{i=0}^n{x}_i\right)+{\beta }^2\left(\sum _{i=0}^n{x}_i^2\right)\\ & =& n{\overline{y}}^2-2n\beta \overline{x}\overline{y}+n{\beta }^2{\overline{x}}^2+2n\beta \overline{x}\overline{y}-2n{\beta }^2{\overline{x}}^2+{\beta }^2\left(\sum _{i=0}^n{x}_i^2\right)-2n{\overline{y}}^2+2n\beta \overline{x}\overline{y}-2n\beta \overline{x}\overline{y}+n{\overline{y}}^2\\ & & +\left(\sum _{i=0}^n{y}_i^2\right)-2n{\overline{y}}^2+2n\beta \overline{x}\overline{y}-2\beta \left(\sum _{i=0}^n{x}_i{y}_i\right)+n{\overline{y}}^2-2n\beta \overline{x}\overline{y}+n{\beta }^2{\overline{x}}^2+2n\beta \overline{x}\overline{y}-2n{\beta }^2{\overline{x}}^2+{\beta }^2\left(\sum _{i=0}^n{x}_i^2\right)\\ & =& \{\left(\sum _{i=0}^n{y}_i^2\right)+n{\overline{y}}^2-2n{\overline{y}}^2+n{\overline{y}}^2-2n{\overline{y}}^2+n{\overline{y}}^2\}+\{2{\beta }^2\left(\sum _{i=0}^n{x}_i^2\right)+n{\beta }^2{\overline{x}}^2-2n{\beta }^2{\overline{x}}^2+n{\beta }^2{\overline{x}}^2-2n{\beta }^2{\overline{x}}^2\}+\{-2\beta \left(\sum _{i=0}^n{x}_i{y}_i\right)-2n\beta \overline{x}\overline{y}+2n\beta \overline{x}\overline{y}+2n\beta \overline{x}\overline{y}-2n\beta \overline{x}\overline{y}+2n\beta \overline{x}\overline{y}-2n\beta \overline{x}\overline{y}+2n\beta \overline{x}\overline{y}\}\\ & =& \{\left(\sum _{i=0}^n{y}_i^2\right)-n{\overline{y}}^2\}+2{\beta }^2\{\left(\sum _{i=0}^n{x}_i^2\right)-n{\overline{x}}^2\}-2\beta \{\left(\sum _{i=0}^n{x}_i{y}_i\right)-n\overline{x}\overline{y}\}\\ & =& S_{yy}+2{\beta }^2{S}_{xx}-2\beta S_{xy}\\ & =& S_{yy}+2\beta (\beta S_{xx}-S_{xy})\\ & =& S_{yy}+2\left(\frac{S_{xy}}{S_{xx}}\right)\{\left(\frac{S_{xy}}{S_{xx}}\right)S_{xx}-S_{xy}\}\\ & =& S_{yy}+2\left(\frac{S_{xy}}{S_{xx}}\right)(S_{xy}-S_{xy})\\ & =& S_{yy}=\sum _{i=0}^n{(y_i-\overline{y})}^2\\ & =& S_T\end{array}$$ よって，全平方和$S_T$である$S_{yy}$は回帰直線から推定される値$\hat{y}$と目的変数の平均値$\overline{y}$との差の 平方和と残差平方和で表せられる．
この回帰直線から推定される値$\hat{y}$と目的変数の平均値$\overline{y}$との差の 平方和を，回帰による変動の平方和$S_R$と呼ぶ． $$\begin{array}{rcl}\sum _{i=0}^n{(y_i-\overline{y})}^2& =& \sum _{i=0}^n{(\widehat{y_i}-\overline{y})}^2+\sum _{i=0}^n{(y_i-\widehat{y_i})}^2\\ S_T& =& S_R+S_e\\ S_{yy}& =& S_R+S_e\\ S_{yy}& =& S_R+(S_{yy}-\frac{S_{xy}^2}{S_{xx}})\\ S_R& =& \frac{S_{xy}^2}{S_{xx}}\end{array}$$ 回帰による変動の平方和$S_R$もデータの各平方和($S_{xx},S_{yy}$)より求めることができる．

線形単回帰の回帰直線 / 最小二乗推定量(least squares estimate; LSE)

線形単回帰の回帰直線

$X$を説明変数(独立変数)，$Y$を目的変数(従属変数)とし，線形単回帰として以下のよう関係を考える．この時，同式が直線を表すことから回帰直線と呼ぶ． $$\begin{array}{rcl}Y& =& \alpha +\beta X\end{array}$$ 線形単回帰としてデータを捉えるのでデータも次の構造式で考える． $$\begin{array}{rcl}{y}_i& =& \alpha +\beta x_i+{ϵ}_i\dots {ϵ}_i\stackrel{iid}{\sim }N(0,{\sigma }^2)\end{array}$$ 回帰直線で推定される$X=x_i$に対応する$Y$の値を${\hat{y}}_i$とする．また${\hat{y}}_i$を求めるためのパラメタ$\alpha ,\beta$の推定値として$\hat{\alpha },\hat{\beta }$とすると以下のような式となる． $$\begin{array}{rcl}\widehat{y_i}& =& \hat{\alpha }+\hat{\beta }{x}_i\end{array}$$
平均や平方和． $$\begin{array}{rcl}\overline{x}& =& \frac{1}{n}\sum _{i=1}^n{x}_i\\ \overline{y}& =& \frac{1}{n}\sum _{i=1}^n{y}_i\\ S_{xx}& =& \sum _{i=1}^n{(x_i-\overline{x})}^2\\ & =& \sum _{i=1}^n(x_i^2-2x_i\overline{x}+{\overline{x}}^2)\\ & =& \left(\sum _{i=1}^n{x}_i^2\right)-2\left(\sum _{i=1}^n{x}_i\right)\overline{x}+{\overline{x}}^2\left(\sum _{i=1}^{n}1\right)\\ & =& \left(\sum _{i=1}^n{x}_i^2\right)-2n{\overline{x}}^2+n{\overline{x}}^2\dots \sum _{i=1}^n{x}_i=n\overline{x}\\ & =& \left(\sum _{i=1}^n{x}_i^2\right)-n{\overline{x}}^2\\ S_{yy}& =& \sum _{i=1}^n{(y_i-\overline{y})}^2\\ & =& \sum _{i=1}^n(y_i^2-2y_i\overline{y}+{\overline{y}}^2)\\ & =& \left(\sum _{i=1}^n{y}_i^2\right)-2\left(\sum _{i=1}^n{y}_i\right)\overline{y}+{\overline{y}}^2\left(\sum _{i=1}^{n}1\right)\\ & =& \left(\sum _{i=1}^n{y}_i^2\right)-2n{\overline{y}}^2+n{\overline{y}}^2\dots \sum _{i=1}^n{y}_i=n\overline{y}\\ & =& \left(\sum _{i=1}^n{y}_i^2\right)-n{\overline{y}}^2\\ S_{xy}& =& \sum _{i=1}^n(x_i-\overline{x})(y_i-\overline{y})\\ & =& \sum _{i=1}^n(x_i{y}_i-x_i\overline{y}-\overline{x}{y}_i+\overline{x}\overline{y})\\ & =& \left(\sum _{i=1}^n{x}_i{y}_i\right)-\left(\sum _{i=1}^n{x}_i\right)\overline{y}-\overline{x}\left(\sum _{i=1}^n{y}_i\right)+\overline{x}\overline{y}\left(\sum _{i=1}^{n}1\right)\\ & =& \left(\sum _{i=1}^n{x}_i{y}_i\right)-n\overline{x}\overline{y}-n\overline{x}\overline{y}+n\overline{x}\overline{y}\dots \sum _{i=1}^n{x}_i=n\overline{x},\sum _{i=1}^n{y}_i=n\overline{y}\\ & =& \left(\sum _{i=1}^n{x}_i{y}_i\right)-n\overline{x}\overline{y}\end{array}$$ 残差平方和$S_e$を展開する. $$\begin{array}{rcl}{S}_e& =& \sum _{i=1}^n{e}_i^2\\ & =& \sum _{i=1}^n{(y_i-\widehat{y_i})}^2\dots e_i=y_i-\widehat{y_i}\\ & =& \sum _{i=1}^n{\{y_i-(\hat{\alpha }+\hat{\beta }{x}_i)\}}^2\dots \widehat{y_i}=\hat{\alpha }+\hat{\beta }{x}_i\\ & =& \sum _{i=1}^n\{y_i^2-2y_i(\hat{\alpha }+\hat{\beta }{x}_i)+{(\hat{\alpha }+\hat{\beta }{x}_i)}^2\}\dots (a-b{)}^2=a^2-2ab+b^2\\ & =& \sum _{i=1}^n(y_i^2-2y_i\hat{\alpha }-2x_i{y}_i\hat{\beta }+{\hat{\alpha }}^2+2x_i\hat{\alpha }\hat{\beta }+x_i^2{\hat{\beta }}^2)\\ & =& \left(\sum _{i=1}^n{y}_i^2\right)-2\left(\sum _{i=1}^n{y}_i\right)\hat{\alpha }-2\left(\sum _{i=1}^n{x}_i{y}_i\right)\hat{\beta }+\left(\sum _{i=1}^{n}1\right){\hat{\alpha }}^2+2\left(\sum _{i=1}^n{x}_i\right)\hat{\alpha }\hat{\beta }+\left(\sum _{i=1}^n{x}_i^2\right){\hat{\beta }}^2\dots \sum _{i=0}^n(a_i+b_i)=\sum _{i=0}^n{a}_i+\sum _{i=0}^n{b}_i\\ & =& \left(\sum _{i=1}^n{y}_i^2\right)-2n\overline{y}\hat{\alpha }-2\left(\sum _{i=1}^n{x}_i{y}_i\right)\hat{\beta }+n{\hat{\alpha }}^2+2n\overline{x}\hat{\alpha }\hat{\beta }+\left(\sum _{i=1}^n{x}_i^2\right){\hat{\beta }}^2\dots \sum _{i=1}^n{x}_i=n\overline{x},\sum _{i=1}^n{y}_i=n\overline{y},\sum _{i=1}^{n}1=n\end{array}$$ 極値となる$\hat{\alpha },\hat{\beta }$を求めるため$S_e$の$\alpha ,\beta$での偏微分を求める． $$\begin{array}{rcl}\frac{\partial S_e}{\partial \hat{\alpha }}& =& -2n\overline{y}+2n\hat{\alpha }+2n\overline{x}\hat{\beta }\\ & =& 2n(\hat{\alpha }+\overline{x}\hat{\beta }-\overline{y})\\ \frac{\partial S_e}{\partial \hat{\beta }}& =& -2\left(\sum _{i=1}^n{x}_i{y}_i\right)+2n\overline{x}\hat{\alpha }+2\left(\sum _{i=1}^n{x}_i^2\right)\hat{\beta }\\ & =& 2\{-\left(\sum _{i=1}^n{x}_i{y}_i\right)+n\overline{x}\hat{\alpha }+\left(\sum _{i=1}^n{x}_i^2\right)\hat{\beta }\}\end{array}$$ 二階の偏微分はそれぞれ常に正の数なので極小となる． $$\begin{array}{rcl}\frac{{\partial }^2{S}_e}{\partial {\hat{\alpha }}^2}& =& 2n>0\\ \frac{{\partial }^2{S}_e}{\partial {\hat{\beta }}^2}& =& 2\left(\sum _{i=1}^n{x}_i^2\right)>0\end{array}$$ 一階の偏微分を連立させる$\frac{\partial S_e}{\partial \hat{\alpha }}=0,\frac{\partial S_e}{\partial \hat{\beta }}=0$． これにより$\alpha ,\beta$の推定値$\hat{\alpha },\hat{\beta }$を求める． $$\{\begin{array}{rcl}2n(\hat{\alpha }+\overline{x}\hat{\beta }-\overline{y})& =& 0\\ 2\{-\left(\sum _{i=1}^n{x}_i{y}_i\right)+n\overline{x}\hat{\alpha }+\left(\sum _{i=1}^n{x}_i^2\right)\hat{\beta }\}& =& 0\end{array}$$ $$\{\begin{array}{rcl}\hat{\alpha }+\overline{x}\hat{\beta }-\overline{y}& =& 0\\ n\overline{x}\hat{\alpha }+\left(\sum _{i=1}^n{x}_i^2\right)\hat{\beta }-\left(\sum _{i=1}^n{x}_i{y}_i\right)& =& 0\end{array}$$ 上記を正規方程式(normal equation)という．
一つ目の式を$\hat{\alpha }$について解く． $$\begin{array}{rcl}\hat{\alpha }+\overline{x}\hat{\beta }-\overline{y}& =& 0\\ \hat{\alpha }& =& \overline{y}-\overline{x}\hat{\beta }\end{array}$$ 二つ目の式の$\hat{\alpha }$にこれを代入する． $$\begin{array}{rcl}n\overline{x}\hat{\alpha }+\left(\sum _{i=1}^n{x}_i^2\right)\hat{\beta }-\left(\sum _{i=1}^n{x}_i{y}_i\right)& =& 0\\ n\overline{x}(\overline{y}-\overline{x}\hat{\beta })+\left(\sum _{i=1}^n{x}_i^2\right)\hat{\beta }-\left(\sum _{i=1}^n{x}_i{y}_i\right)& =& 0\\ n\overline{x}\overline{y}-n{\overline{x}}^2\hat{\beta }+\left(\sum _{i=1}^n{x}_i^2\right)\hat{\beta }-\left(\sum _{i=1}^n{x}_i{y}_i\right)& =& 0\\ n\overline{x}\overline{y}+\{\left(\sum _{i=1}^n{x}_i^2\right)-n{\overline{x}}^2\}\hat{\beta }-\left(\sum _{i=1}^n{x}_i{y}_i\right)& =& 0\\ \{\left(\sum _{i=1}^n{x}_i^2\right)-n{\overline{x}}^2\}\hat{\beta }& =& \left(\sum _{i=1}^n{x}_i{y}_i\right)-n\overline{x}\overline{y}\\ \hat{\beta }& =& \frac{\left(\sum _{i=1}^n{x}_i{y}_i\right)-n\overline{x}\overline{y}}{\left(\sum _{i=1}^n{x}_i^2\right)-n{\overline{x}}^2}\\ & =& \frac{S_{xy}}{S_{xx}}\end{array}$$ よって回帰直線の係数$\hat{\alpha },\hat{\beta }$は以下のようになる． $$\begin{array}{rcl}\hat{\alpha }& =& \overline{y}-\beta \overline{x}=\overline{y}-\frac{S_{xy}}{S_{xx}}\overline{x}\\ \hat{\beta }& =& \frac{S_{xy}}{S_{xx}}\end{array}$$ 残差の二乗を最小とするように求めたこの$\hat{\alpha },\hat{\beta }$を最小二乗推定量(least squares estimate; LSE)と呼ぶ．
$\hat{\beta }$の分母は$S_{xx}=\sum _{i=0}^n{(x_i-\overline{x})}^2$であり，$0$または正の値である($0$は全ての$x_i$が$\overline{x}$と等しいとき)． よって回帰直線の傾きは$S_{xy}$によるものである．
また$\hat{\alpha },\hat{\beta }$を求める際に用いた正規方程式にあるように，この直線が$(\overline{x},\overline{y})$を通ることがわかる． $$\begin{array}{rcl}\hat{\alpha }+\overline{x}\hat{\beta }-\overline{y}& =& 0\cdots \mathrm{正}\mathrm{規}\mathrm{方}\mathrm{程}\mathrm{式}\mathrm{の}1\mathrm{つ}\mathrm{目}\mathrm{の}\mathrm{式}\\ \overline{y}& =& \hat{\alpha }+\overline{x}\hat{\beta }\end{array}$$