式展開: 単回帰における最小二乗推定量が不偏推定量であることの証明

線形推定量

以前に単回帰における最小2乗推定量(least squares estimator; LSE)を求めた際に利用したのは以下の式である．．

\begin{array}{r} {\begin{matrix} \hat{α} + \bar{x} \hat{β} - \bar{y} & = & 0 \\ n \bar{x} \hat{α} + (\sum_{i = 1}^{n} x_{i}^{2}) \hat{β} - (\sum_{i = 1}^{n} x_{i} y_{i}) & = & 0 \end{matrix} \dots 線 形 単 回 帰 の 回 帰 直 線 (\hat{α}, \hat{β} を 求 め る) \end{array}

上記は以下の形にでき，これは正規方程式(normal equation)と呼ばれる．

\begin{array}{r} {\begin{matrix} \hat{α} + \bar{x} \hat{β} & = & \bar{y} & = & (\sum_{i = 1}^{n} \frac{1}{n} y_{i}) \\ n \bar{x} \hat{α} + (\sum_{i = 1}^{n} x_{i}^{2}) \hat{β} & = & (\sum_{i = 1}^{n} x_{i} y_{i}) \end{matrix} \end{array}

観測値

y_{i}

の一次式

\sum_{i = 1}^{n} c_{i} y_{i} (c_{i} : 定 数)

で表される推定量を線形推定量(linear estimator)と呼ぶ．
よって

\hat{α}, \hat{β}

は

y_{i}

の線形推定量である．

観測値 $y_{i}$ の期待値

\begin{array}{rcl} y_{i} & = & α + β x_{i} + ϵ_{i} (i = 1, \dots, n) \\ {ϵ_{i} | i = 1, \dots, n} & : & ϵ_{i} \overset{i i d}{\sim} N (0, σ^{2}) \\ \dots 独 立 同 一 分 布 (i n d e p e n d e n t a n d i d e n t i c a l l y d i s t r i b u t e d; I I D, i . i . d ., i i d) \\ \dots E [ϵ_{i}] = 0, V [ϵ_{i}] = σ^{2}, 互 い に 独 立 \\ E [y_{i}] & = & E [α + β x_{i} + ϵ_{i}] \\ = & E [α] + E [β x_{i}] + E [ϵ_{i}] \\ = & α + β x_{i} + 0 \dots E [C] = C (C : 期 待 値 を と る こ と に つ い て 定 数), E [ϵ_{i}] = 0 \\ = & α + β x_{i} \end{array}

最小二乗推定量 $\hat{β}$ が不偏推定量であることの証明

\begin{array}{rcl} E [\hat{β}] & = & E [\frac{S_{x y}}{S_{x x}}] \dots \hat{β} = \frac{S_{x y}}{S_{x x}} \\ = & E [\frac{\sum_{i = 1}^{n} (x_{i} - \bar{x}) (y_{i} - \bar{y})}{S_{x x}}] \dots S_{x y} = \sum_{i = 1}^{n} (x_{i} - \bar{x}) (y_{i} - \bar{y}) \\ = & \frac{1}{S_{x x}} E [\sum_{i = 1}^{n} (x_{i} - \bar{x}) (y_{i} - \bar{y})] \dots E [c X] = c E [X] \\ = & \frac{1}{S_{x x}} \sum_{i = 1}^{n} E [(x_{i} - \bar{x}) (y_{i} - \bar{y})] \\ \dots E [\sum_{i = 1}^{n} A_{i}] = E [A_{i} + \dots + A_{i} + \dots + A_{n}] = E [A_{i}] + \dots + E [A_{i}] + \dots + E [A_{n}] = \sum_{i = 1}^{n} E [A_{i}] \\ \dots E [X \pm Y] = E [X] \pm E [Y] \\ = & \frac{1}{S_{x x}} \sum_{i = 1}^{n} (x_{i} - \bar{x}) E [y_{i} - \bar{y}] \dots E [c X] = c E [X] \\ = & \frac{1}{S_{x x}} \sum_{i = 1}^{n} (x_{i} - \bar{x}) (E [y_{i}] - E [\bar{y}]) \dots E [X \pm Y] = E [X] \pm E [Y] \\ = & \frac{1}{S_{x x}} \sum_{i = 1}^{n} (x_{i} - \bar{x}) {(α + β x_{i}) - (α + β \bar{x})} \dots E [y_{i}] = α + β x_{i}, E [\bar{y}] = α + β \bar{x} \\ = & \frac{1}{S_{x x}} \sum_{i = 1}^{n} (x_{i} - \bar{x}) (α + β x_{i} - α - β \bar{x}) \\ = & \frac{1}{S_{x x}} \sum_{i = 1}^{n} (x_{i} - \bar{x}) β (x_{i} - \bar{x}) \\ = & \frac{1}{S_{x x}} \sum_{i = 1}^{n} {(x_{i} - \bar{x})}^{2} β \\ = & \frac{1}{S_{x x}} β \sum_{i = 1}^{n} {(x_{i} - \bar{x})}^{2} \\ \dots \sum_{i = 1}^{n} c X_{i} = c X_{1} + \dots + c X_{i} + \dots + c X_{n} = c (X_{1} + \dots + X_{i} + \dots + X_{n}) = c \sum_{i = 1}^{n} X_{i} \\ = & \frac{1}{S_{x x}} β S_{x x} \dots S_{x x} = \sum_{i = 1}^{n} {(x_{i} - \bar{x})}^{2} \\ = & β \end{array}

最小二乗推定量 $\hat{α}$ が不偏推定量であることの証明

\begin{array}{rcl} E [\hat{α}] & = & E [\bar{y} - \hat{β} \bar{x}] \dots \hat{α} = \bar{y} - \hat{β} \bar{x} \\ = & E [\bar{y}] - E [\hat{β} \bar{x}] \dots E [X \pm Y] = E [X] \pm E [Y] \\ = & E [\bar{y}] - \bar{x} E [\hat{β}] \dots E [c X] = c E [X] \\ = & α + β \bar{x} - β \bar{x} \dots E [\bar{y}] = α + β \bar{x}, E [\hat{β}] = β \\ = & α \end{array}

式展開

単回帰における最小二乗推定量が不偏推定量であることの証明

線形推定量

観測値 $y_{i}$ の期待値

最小二乗推定量 $\hat{β}$ が不偏推定量であることの証明

最小二乗推定量 $\hat{α}$ が不偏推定量であることの証明

0 件のコメント:

コメントを投稿

式展開

単回帰における最小二乗推定量が不偏推定量であることの証明

線形推定量

観測値yiの期待値

最小二乗推定量β^が不偏推定量であることの証明

最小二乗推定量α^が不偏推定量であることの証明

0 件のコメント:

コメントを投稿

観測値 $y_{i}$ の期待値

最小二乗推定量 $\hat{β}$ が不偏推定量であることの証明

最小二乗推定量 $\hat{α}$ が不偏推定量であることの証明