残差平方和とデータの各平方和
残差平方和とデータの各平方和
$$\begin{eqnarray} S_e&=&\sum_{i=1}^n e_i^2\\ &=&\sum_{i=1}^n \left(y_i - \hat{y_i}\right)^2\;\dots\;\hat{y_i}=\hat{\alpha}+\hat{\beta} x_i\\ &=&\left(\sum_{i=1}^n y_i^2\right) - 2n\bar{y}\hat{\alpha} - 2\left(\sum_{i=1}^n x_i y_i\right)\hat{\beta} + n\hat{\alpha}^2 + 2n\bar{x}\hat{\alpha}\hat{\beta} + \left(\sum_{i=1}^n x_i^2\right)\hat{\beta}^2 \;\dots\;\href{https://shikitenkai.blogspot.com/2020/03/blog-post.html}{残差平方和の展開した式}\\ &=&\left(\sum_{i=1}^n y_i^2\right) - 2n\bar{y}\left(\bar{y}-\frac{S_{xy}}{S_{xx}}\bar{x}\right) - 2\left(\sum_{i=1}^n x_i y_i\right)\frac{S_{xy}}{S_{xx}} + n\left(\bar{y}-\frac{S_{xy}}{S_{xx}}\bar{x}\right)^2 + 2n\bar{x}\left(\bar{y}-\frac{S_{xy}}{S_{xx}}\bar{x}\right)\frac{S_{xy}}{S_{xx}} + \left(\sum_{i=1}^n x_i^2\right)\left(\frac{S_{xy}}{S_{xx}}\right)^2 \;\dots\; \hat{\alpha}=\bar{y}-\frac{S_{xy}}{S_{xx}}\bar{x},\;\hat{\beta}=\frac{S_{xy}}{S_{xx}}\\ &=&\left(\sum_{i=1}^n y_i^2\right) - 2n\bar{y}^2 + 2n\frac{S_{xy}}{S_{xx}}\bar{x}\bar{y} - 2\frac{S_{xy}}{S_{xx}}\left(\sum_{i=1}^n x_i y_i\right) + n\bar{y}^2 - 2n\frac{S_{xy}}{S_{xx}}\bar{x}\bar{y} + n\left(\frac{S_{xy}}{S_{xx}}\right)^2\bar{x}^2 + 2n\frac{S_{xy}}{S_{xx}}\bar{x}\bar{y} - 2n\left(\frac{S_{xy}}{S_{xx}}\right)^2\bar{x}^2 + \left(\sum_{i=1}^n x_i^2\right)\left(\frac{S_{xy}}{S_{xx}}\right)^2\\ &=&\left\{ \left(\sum_{i=1}^n y_i^2\right) - 2n\bar{y}^2 + n\bar{y}^2 \right\} +\left\{ 2n\frac{S_{xy}}{S_{xx}}\bar{x}\bar{y} - 2\frac{S_{xy}}{S_{xx}}\left(\sum_{i=1}^n x_i y_i\right) - 2n\frac{S_{xy}}{S_{xx}}\bar{x}\bar{y} + 2n\frac{S_{xy}}{S_{xx}}\bar{x}\bar{y} \right\} +\left\{ n\left(\frac{S_{xy}}{S_{xx}}\right)^2\bar{x}^2 - 2n\left(\frac{S_{xy}}{S_{xx}}\right)^2\bar{x}^2 + \left(\sum_{i=1}^n x_i^2\right)\left(\frac{S_{xy}}{S_{xx}}\right)^2 \right\}\\ &=&\left\{ \left(\sum_{i=1}^n y_i^2\right) - n\bar{y}^2 \right\} +\left\{ 2n\frac{S_{xy}}{S_{xx}}\bar{x}\bar{y} - 2\frac{S_{xy}}{S_{xx}}\left(\sum_{i=1}^n x_i y_i\right) \right\} +\left\{ - n\left(\frac{S_{xy}}{S_{xx}}\right)^2\bar{x}^2 + \left(\sum_{i=1}^n x_i^2\right)\left(\frac{S_{xy}}{S_{xx}}\right)^2 \right\}\\ &=&\left\{ \left(\sum_{i=1}^n y_i^2\right) - n\bar{y}^2 \right\} -2\frac{S_{xy}}{S_{xx}}\left\{ \left(\sum_{i=1}^n x_i y_i\right) - n\bar{x}\bar{y} \right\} +\left(\frac{S_{xy}}{S_{xx}}\right)^2\left\{ \left(\sum_{i=1}^n x_i^2\right) - n\bar{x}^2 \right\} \;\dots\;\sum_{i=1}^n y_i^2-n\bar{y}^2=S_{yy},\;\sum_{i=1}^n x_i^2-n\bar{x}^2=S_{xx},\;\sum_{i=1}^n x_i y_i-n\bar{x}\bar{y}=S_{xy}\\ &=&S_{yy} -2\frac{S_{xy}}{S_{xx}}S_{xy} +\left(\frac{S_{xy}}{S_{xx}}\right)^2S_{xx}\\ &=&S_{yy} -2\frac{S_{xy}^2}{S_{xx}} +\frac{S_{xy}^2}{S_{xx}}\\ &=&S_{yy} -\frac{S_{xy}^2}{S_{xx}}\\ \end{eqnarray}$$ よって，残差平方和\(S_{e}\)はデータの各平方和(\(S_{xx}, S_{yy}, S_{xy}\))より求めることができる．全平方和の分解
全平方和の分解
以下のような和を考える．第一項は回帰直線から推定される値\(\hat{y_i}\)と目的変数の平均値\(\bar{y}\)との差の 平方和であり，第二項は残差平方和である． $$\begin{eqnarray} &&\sum_{i=0}^n\left(\hat{y_i}-\bar{y}\right)^2+\sum_{i=0}^n\left(y_i-\hat{y_i}\right)^2\\ &=&\sum_{i=0}^n\left(\hat{y_i}^2-2\hat{y_i}\bar{y}+\bar{y}^2\right)+\sum_{i=0}^n\left(y_i^2-2y_i\hat{y_i}+\hat{y_i}^2\right)\\ &=&\sum_{i=0}^n\left\{ \left(\alpha+\beta x_i\right)^2-2\left(\alpha+\beta x_i\right)\bar{y}+\bar{y}^2 \right\} +\sum_{i=0}^n\left\{ y_i^2-2y_i\left(\alpha+\beta x_i\right)+\left(\alpha+\beta x_i\right)^2 \right\}\\ &=&\sum_{i=0}^n\left(\alpha^2+2\alpha\beta x_i+\beta^2x_i^2-2\alpha\bar{y}-2\beta\bar{y}x_i+\bar{y}^2\right) +\sum_{i=0}^n\left(y_i^2-2\alpha y_i-2\beta x_i y_i+\alpha^2+2\alpha\beta x_i+\beta^2 x_i^2\right)\\ &=&\sum_{i=0}^n\left\{ \left(\bar{y}-\beta\bar{x}\right)^2 +2\left(\bar{y}-\beta\bar{x}\right)\beta x_i +\beta^2x_i^2 -2\left(\bar{y}-\beta\bar{x}\right)\bar{y} -2\beta\bar{y}x_i+\bar{y}^2 \right\} +\sum_{i=0}^n\left\{ y_i^2-2\left(\bar{y}-\beta\bar{x}\right) y_i-2\beta x_i y_i+\left(\bar{y}-\beta\bar{x}\right)^2+2\left(\bar{y}-\beta\bar{x}\right)\beta x_i+\beta^2 x_i^2 \right\}\\ &=&\sum_{i=0}^n\left( \bar{y}^2-2\beta\bar{x}\bar{y}+\beta^2\bar{x}^2 +2\beta \bar{y}x_i -2\beta^2\bar{x} x_i +\beta^2x_i^2 -2\bar{y}^2 +2\beta\bar{x}\bar{y} -2\beta\bar{y}x_i+\bar{y}^2 \right) +\sum_{i=0}^n\left( y_i^2 -2\bar{y}y_i+2\beta\bar{x}y_i -2\beta x_i y_i +\bar{y}^2-2\beta\bar{x}\bar{y}+\beta^2\bar{x}^2 +2\beta\bar{y} x_i-2\beta^2\bar{x} x_i +\beta^2 x_i^2 \right)\\ &=&\bar{y}^2\left(\sum_{i=0}^n 1\right) -2\beta\bar{x}\bar{y}\left(\sum_{i=0}^n 1\right) +\beta^2\bar{x}^2\left(\sum_{i=0}^n 1\right) +2\beta \bar{y}\left(\sum_{i=0}^n x_i\right) -2\beta^2\bar{x}\left(\sum_{i=0}^n x_i\right) +\beta^2 \left(\sum_{i=0}^n x_i^2\right) -2\bar{y}^2 \left(\sum_{i=0}^n 1\right) +2\beta\bar{x}\bar{y} \left(\sum_{i=0}^n 1\right) -2\beta\bar{y} \left(\sum_{i=0}^n x_i\right) +\bar{y}^2 \left(\sum_{i=0}^n 1\right)\\ &&+\left(\sum_{i=0}^n y_i^2 \right) -2\bar{y}\left(\sum_{i=0}^n y_i\right) +2\beta\bar{x}\left(\sum_{i=0}^n y_i\right) -2\beta \left(\sum_{i=0}^n x_i y_i\right) +\bar{y}^2\left(\sum_{i=0}^n 1\right) -2\beta\bar{x}\bar{y}\left(\sum_{i=0}^n 1\right) +\beta^2\bar{x}^2 \left(\sum_{i=0}^n 1\right) +2\beta\bar{y} \left(\sum_{i=0}^n x_i\right) -2\beta^2\bar{x} \left(\sum_{i=0}^n x_i\right) +\beta^2 \left(\sum_{i=0}^n x_i^2 \right)\\ &=&n\bar{y}^2 -2n\beta\bar{x}\bar{y} +n\beta^2\bar{x}^2 +2n\beta\bar{x}\bar{y} -2n\beta^2\bar{x}^2 +\beta^2 \left(\sum_{i=0}^n x_i^2\right) -2n\bar{y}^2 +2n\beta\bar{x}\bar{y} -2n\beta\bar{x}\bar{y} +n\bar{y}^2\\ &&+\left(\sum_{i=0}^n y_i^2 \right) -2n\bar{y}^2 +2n\beta\bar{x}\bar{y} -2\beta \left(\sum_{i=0}^n x_i y_i\right) +n\bar{y}^2 -2n\beta\bar{x}\bar{y} +n\beta^2\bar{x}^2 +2n\beta\bar{x}\bar{y} -2n\beta^2\bar{x}^2 +\beta^2 \left(\sum_{i=0}^n x_i^2 \right)\\ &=&\left\{ \left(\sum_{i=0}^n y_i^2 \right) +n\bar{y}^2 -2n\bar{y}^2 +n\bar{y}^2 -2n\bar{y}^2 +n\bar{y}^2 \right\} +\left\{ 2\beta^2 \left(\sum_{i=0}^n x_i^2\right) +n\beta^2\bar{x}^2 -2n\beta^2\bar{x}^2 +n\beta^2\bar{x}^2 -2n\beta^2\bar{x}^2 \right\} +\left\{ -2\beta \left(\sum_{i=0}^n x_i y_i\right) -2n\beta\bar{x}\bar{y} +2n\beta\bar{x}\bar{y} +2n\beta\bar{x}\bar{y} -2n\beta\bar{x}\bar{y} +2n\beta\bar{x}\bar{y} -2n\beta\bar{x}\bar{y} +2n\beta\bar{x}\bar{y} \right\}\\ &=&\left\{ \left(\sum_{i=0}^n y_i^2 \right) -n\bar{y}^2 \right\} +2\beta^2\left\{ \left(\sum_{i=0}^n x_i^2\right) -n\bar{x}^2 \right\} -2\beta \left\{ \left(\sum_{i=0}^n x_i y_i\right) -n\bar{x}\bar{y} \right\}\\ &=&S_{yy}+2\beta^2 S_{xx}-2\beta S_{xy}\\ &=&S_{yy}+2\beta \left(\beta S_{xx} - S_{xy}\right)\\ &=&S_{yy}+2\left(\frac{S_{xy}}{S_{xx}}\right) \left\{\left(\frac{S_{xy}}{S_{xx}}\right) S_{xx} - S_{xy}\right\}\\ &=&S_{yy}+2\left(\frac{S_{xy}}{S_{xx}}\right) \left(S_{xy} - S_{xy}\right)\\ &=&S_{yy} = \sum_{i=0}^n \left(y_i - \bar{y}\right)^2\\ &=&S_{T} \end{eqnarray}$$ よって，全平方和\(S_{T}\)である\(S_{yy}\)は回帰直線から推定される値\(\hat{y}\)と目的変数の平均値\(\bar{y}\)との差の 平方和と残差平方和で表せられる．この回帰直線から推定される値\(\hat{y}\)と目的変数の平均値\(\bar{y}\)との差の 平方和を，回帰による変動の平方和\(S_{R}\)と呼ぶ． $$\begin{eqnarray} \sum_{i=0}^n \left(y_i - \bar{y}\right)^2&=&\sum_{i=0}^n\left(\hat{y_i}-\bar{y}\right)^2+\sum_{i=0}^n\left(y_i-\hat{y_i}\right)^2\\ S_{T}&=&S_{R}+S_{e}\\ S_{yy}&=&S_{R}+S_{e}\\ S_{yy}&=&S_{R}+\left(S_{yy}-\frac{S_{xy}^2}{S_{xx}}\right)\\ S_{R}&=&\frac{S_{xy}^2}{S_{xx}}\\ \end{eqnarray}$$ 回帰による変動の平方和\(S_{R}\)もデータの各平方和(\(S_{xx}, S_{yy}\))より求めることができる．
線形単回帰の回帰直線 / 最小二乗推定量(least squares estimate; LSE)
線形単回帰の回帰直線
\(X\)を説明変数(独立変数)，\(Y\)を目的変数(従属変数)とし，線形単回帰として以下のよう関係を考える．この時，同式が直線を表すことから回帰直線と呼ぶ． $$\begin{eqnarray} Y&=&\alpha+\beta X\\ \end{eqnarray}$$ 線形単回帰としてデータを捉えるのでデータも次の構造式で考える． $$\begin{eqnarray} y_i&=&\alpha+\beta x_i +\epsilon_i\;\dots\;\epsilon_i \overset{iid}{\sim} N(0,\sigma^2)\\ \end{eqnarray}$$ 回帰直線で推定される\(X=x_i\)に対応する\(Y\)の値を\(\hat{y}_i\)とする．また\(\hat{y}_i\)を求めるためのパラメタ\(\alpha,\beta\)の推定値として\(\hat{\alpha},\hat{\beta}\)とすると以下のような式となる． $$\begin{eqnarray} \hat{y_i}&=&\hat{\alpha}+\hat{\beta} x_i\\ \end{eqnarray}$$平均や平方和． $$\begin{eqnarray} \bar{x}&=&\frac{1}{n}\sum_{i=1}^{n}x_i\\ \bar{y}&=&\frac{1}{n}\sum_{i=1}^{n}y_i\\ S_{xx}&=&\sum_{i=1}^{n}{\left(x_i - \bar{x}\right)^2}\\ &=&\sum_{i=1}^{n}{\left(x_i^2 -2x_i \bar{x}+\bar{x}^2\right)}\\ &=&\left(\sum_{i=1}^{n}x_i^2\right) -2\left(\sum_{i=1}^{n}x_i\right)\bar{x}+\bar{x}^2\left(\sum_{i=1}^{n}1\right)\\ &=&\left(\sum_{i=1}^{n}x_i^2\right) -2n\bar{x}^2+n\bar{x}^2\;\dots\;\sum_{i=1}^{n}x_i=n\bar{x}\\ &=&\left(\sum_{i=1}^{n}x_i^2\right) -n\bar{x}^2\\ S_{yy}&=&\sum_{i=1}^{n}{\left(y_i - \bar{y}\right)^2}\\ &=&\sum_{i=1}^{n}{\left(y_i^2 -2y_i \bar{y}+\bar{y}^2\right)}\\ &=&\left(\sum_{i=1}^{n}y_i^2\right) -2\left(\sum_{i=1}^{n}y_i\right)\bar{y}+\bar{y}^2\left(\sum_{i=1}^{n}1\right)\\ &=&\left(\sum_{i=1}^{n}y_i^2\right) -2n\bar{y}^2+n\bar{y}^2\;\dots\;\sum_{i=1}^{n}y_i=n\bar{y}\\ &=&\left(\sum_{i=1}^{n}y_i^2\right) -n\bar{y}^2\\ S_{xy}&=&\sum_{i=1}^{n}{\left(x_i - \bar{x}\right)\left(y_i - \bar{y}\right)}\\ &=&\sum_{i=1}^{n}{\left(x_i y_i -x_i \bar{y}-\bar{x}y_i+\bar{x}\bar{y}\right)}\\ &=&\left(\sum_{i=1}^{n}x_i y_i\right) -\left(\sum_{i=1}^{n}x_i\right)\bar{y}-\bar{x}\left(\sum_{i=1}^{n}y_i\right)+\bar{x}\bar{y}\left(\sum_{i=1}^{n}1\right)\\ &=&\left(\sum_{i=1}^{n}x_i y_i\right) -n\bar{x}\bar{y}-n\bar{x}\bar{y}+n\bar{x}\bar{y}\;\dots\;\sum_{i=1}^{n}x_i=n\bar{x},\;\sum_{i=1}^{n}y_i=n\bar{y}\\ &=&\left(\sum_{i=1}^{n}x_i y_i\right) -n\bar{x}\bar{y}\\ \end{eqnarray}$$ 残差平方和\(S_e\)を展開する. $$\begin{eqnarray} S_e &=&\sum_{i=1}^n e_i^2\\ &=&\sum_{i=1}^n \left( y_i - \hat{y_i}\right)^2\;\dots\;e_i=y_i - \hat{y_i}\\ &=&\sum_{i=1}^n \left\{ y_i - \left(\hat{\alpha}+\hat{\beta} x_i\right)\right\}^2\;\dots\;\hat{y_i}=\hat{\alpha}+\hat{\beta} x_i\\ &=&\sum_{i=1}^n \left\{ y_i^2 - 2y_i\left(\hat{\alpha}+\hat{\beta} x_i\right)+\left(\hat{\alpha}+\hat{\beta} x_i\right)^2\right\}\;\dots\;(a-b)^2=a^2-2ab+b^2\\ &=&\sum_{i=1}^n \left( y_i^2 - 2y_i\hat{\alpha}- 2x_i y_i\hat{\beta}+\hat{\alpha}^2+2x_i\hat{\alpha}\hat{\beta}+x_i^2\hat{\beta}^2\right)\\ &=&\left(\sum_{i=1}^n y_i^2\right) - 2\left(\sum_{i=1}^n y_i\right)\hat{\alpha}- 2\left(\sum_{i=1}^n x_i y_i\right)\hat{\beta}+\left(\sum_{i=1}^n 1\right)\hat{\alpha}^2+2\left(\sum_{i=1}^n x_i\right)\hat{\alpha}\hat{\beta}+\left(\sum_{i=1}^n x_i^2\right)\hat{\beta}^2 \;\dots\;\sum_{i=0}^n\left(a_i+b_i\right)=\sum_{i=0}^n a_i+\sum_{i=0}^n b_i\\ &=&\left(\sum_{i=1}^n y_i^2\right) - 2n\bar{y}\hat{\alpha}- 2\left(\sum_{i=1}^n x_i y_i\right)\hat{\beta}+n\hat{\alpha}^2+2n\bar{x}\hat{\alpha}\hat{\beta}+\left(\sum_{i=1}^n x_i^2\right)\hat{\beta}^2 \;\dots\;\sum_{i=1}^{n}x_i=n\bar{x},\;\sum_{i=1}^{n}y_i=n\bar{y},\;\sum_{i=1}^{n}1=n\\ \end{eqnarray}$$ 極値となる\(\hat{\alpha},\hat{\beta}\)を求めるため\(S_e\)の\(\alpha,\beta\)での偏微分を求める． $$\begin{eqnarray} \frac{\partial S_e}{\partial \hat{\alpha}}&=& -2n\bar{y}+2n\hat{\alpha}+2n\bar{x}\hat{\beta}\\ &=&2n\left(\hat{\alpha}+\bar{x}\hat{\beta}-\bar{y}\right)\\ \frac{\partial S_e}{\partial \hat{\beta}}&=& -2\left(\sum_{i=1}^n x_i y_i\right)+2n\bar{x}\hat{\alpha}+2\left(\sum_{i=1}^n x_i^2\right)\hat{\beta}\\ &=& 2\left\{ -\left(\sum_{i=1}^n x_i y_i\right)+n\bar{x}\hat{\alpha}+\left(\sum_{i=1}^n x_i^2\right)\hat{\beta} \right\} \end{eqnarray}$$ 二階の偏微分はそれぞれ常に正の数なので極小となる． $$\begin{eqnarray} \frac{\partial^2 S_e}{\partial \hat{\alpha}^2}&=& 2n \gt 0\\ \frac{\partial^2 S_e}{\partial \hat{\beta}^2} &=& 2\left(\sum_{i=1}^n x_i^2\right) \gt 0\\ \end{eqnarray}$$ 一階の偏微分を連立させる\(\frac{\partial S_e}{\partial \hat{\alpha}}=0,\frac{\partial S_e}{\partial \hat{\beta}}=0\)． これにより\(\alpha,\beta\)の推定値\(\hat{\alpha},\hat{\beta}\)を求める． $$\left\{ \begin{eqnarray} 2n\left(\hat{\alpha}+\bar{x}\hat{\beta}-\bar{y}\right)&=&0\\ 2\left\{ -\left(\sum_{i=1}^n x_i y_i\right)+n\bar{x}\hat{\alpha}+\left(\sum_{i=1}^n x_i^2\right)\hat{\beta} \right\}&=&0\\ \end{eqnarray} \right.\\$$ $$\left\{ \begin{eqnarray} \hat{\alpha}+\bar{x}\hat{\beta}-\bar{y} &=&0\\ n\bar{x}\hat{\alpha}+\left(\sum_{i=1}^n x_i^2\right)\hat{\beta}-\left(\sum_{i=1}^n x_i y_i\right) &=&0\\ \end{eqnarray} \right.\\$$ 上記を正規方程式(normal equation)という．
一つ目の式を\(\hat{\alpha}\)について解く． $$\begin{eqnarray} \hat{\alpha}+\bar{x}\hat{\beta}-\bar{y}&=&0\\ \hat{\alpha}&=&\bar{y}-\bar{x}\hat{\beta}\\ \end{eqnarray}$$ 二つ目の式の\(\hat{\alpha}\)にこれを代入する． $$\begin{eqnarray} n\bar{x}\hat{\alpha}+\left(\sum_{i=1}^n x_i^2\right)\hat{\beta}-\left(\sum_{i=1}^n x_i y_i\right)&=&0\\ n\bar{x}\left(\bar{y}-\bar{x}\hat{\beta}\right)+\left(\sum_{i=1}^n x_i^2\right)\hat{\beta}-\left(\sum_{i=1}^n x_i y_i\right)&=&0\\ n\bar{x}\bar{y}-n\bar{x}^2\hat{\beta}+\left(\sum_{i=1}^n x_i^2\right)\hat{\beta}-\left(\sum_{i=1}^n x_i y_i\right)&=&0\\ n\bar{x}\bar{y}+\left\{\left(\sum_{i=1}^n x_i^2\right)-n\bar{x}^2\right\}\hat{\beta}-\left(\sum_{i=1}^n x_i y_i\right)&=&0\\ \left\{\left(\sum_{i=1}^n x_i^2\right)-n\bar{x}^2\right\}\hat{\beta}&=&\left(\sum_{i=1}^n x_i y_i\right)-n\bar{x}\bar{y}\\ \hat{\beta}&=&\frac{\left(\sum_{i=1}^n x_i y_i\right)-n\bar{x}\bar{y}}{\left(\sum_{i=1}^n x_i^2\right)-n\bar{x}^2}\\ &=&\frac{S_{xy}}{S_{xx}}\\ \end{eqnarray}$$ よって回帰直線の係数\(\hat{\alpha},\hat{\beta}\)は以下のようになる． $$\begin{eqnarray} \hat{\alpha}&=&\bar{y}-\beta\bar{x}=\bar{y}-\frac{S_{xy}}{S_{xx}}\bar{x}\\ \hat{\beta}&=&\frac{S_{xy}}{S_{xx}}\\ \end{eqnarray}$$ 残差の二乗を最小とするように求めたこの\(\hat{\alpha},\hat{\beta}\)を最小二乗推定量(least squares estimate; LSE)と呼ぶ．
\(\hat{\beta}\)の分母は\(S_{xx}=\sum_{i=0}^{n} \left(x_i-\bar{x}\right)^2\)であり，\(0\)または正の値である(\(0\)は全ての\(x_i\)が\(\bar{x}\)と等しいとき)． よって回帰直線の傾きは\(S_{xy}\)によるものである．
また\(\hat{\alpha},\hat{\beta}\)を求める際に用いた正規方程式にあるように，この直線が\(\left(\bar{x},\bar{y}\right)\)を通ることがわかる． $$\begin{eqnarray} \hat{\alpha}+\bar{x}\hat{\beta}-\bar{y}&=&0 \;\cdots\;正規方程式の1つ目の式 \\\bar{y}&=&\hat{\alpha}+\bar{x}\hat{\beta}\\ \end{eqnarray}$$
登録:
投稿 (Atom)