式展開: 10月 2020

対称行列の二乗のトレースは，元の対称行列の各要素の二乗の和

$2 \times 2$ の対称行列

\begin{array}{rcl} S_{2} & = & [\begin{array}{c} x & y \\ y & z \end{array}] \dots S : 対 称 行 列 \\ {(S_{2})}^{2} & = & [\begin{array}{c} x & y \\ y & z \end{array}] [\begin{array}{c} x & y \\ y & z \end{array}] \\ = & [\begin{array}{c} x^{2} + y^{2} & x y + y z \\ x y + y z & y^{2} + z^{2} \end{array}] \dots {(S_{2})}^{2} も 対 称 行 列 \\ t r ({(S_{2})}^{2}) & = & (x^{2} + y^{2}) + (y^{2} + z^{2}) \dots 対 角 要 素 を 足 し 合 わ せ る, t r a c e \\ = & x^{2} + 2 y^{2} + z^{2} \\ = & \sum_{i = 1}^{2} \sum_{j = 1}^{2} {(s_{i j})}^{2} \dots s_{i j} : (S_{2}) の i 行 j 列 要 素 \\ = & \sum_{i = 1}^{2} {(s_{i i})}^{2} + \sum_{i \neq j}^{2} {(s_{i j})}^{2} \dots 第 一 項 : 対 角 要 素, 第 二 項 : 上 側 三 角 行 列 か ら 対 角 要 素 を 除 い た 部 分 \\ = & \sum_{i = 1}^{2} {(s_{i i})}^{2} + \sum_{i < j}^{2} 2 {(s_{i j})}^{2} \dots 第 二 項 : 対 称 行 列 な の で s_{j i} = s_{i j} な の で i < j の 条 件 と す る と 2 倍 \end{array}

$3 \times 3$ の対称行列

\begin{array}{rcl} S_{3} & = & [\begin{array}{c} a & b & c \\ b & d & e \\ c & e & f \end{array}] \dots S : 対 称 行 列 \\ {(S_{3})}^{2} & = & [\begin{array}{c} a & b & c \\ b & d & e \\ c & e & f \end{array}] [\begin{array}{c} a & b & c \\ b & d & e \\ c & e & f \end{array}] \\ = & [\begin{array}{c} a^{2} + b^{2} + c^{2} & a b + b d + c e & a c + b e + c f \\ a b + b d + c e & b^{2} + d^{2} + e^{2} & b c + d e + e f \\ a c + b e + c f & b c + d e + e f & c^{2} + e^{2} + f^{2} \end{array}] \dots {(S_{3})}^{2} も 対 称 行 列 \\ t r ({(S_{3})}^{2}) & = & (a^{2} + b^{2} + c^{2}) + (b^{2} + d^{2} + e^{2}) + (c^{2} + e^{2} + f^{2}) \dots 対 角 要 素 を 足 し 合 わ せ る, t r a c e \\ = & a^{2} + 2 b^{2} + 2 c^{2} + d^{2} + 2 e^{2} + f^{2} \\ = & \sum_{i = 1}^{3} \sum_{j = 1}^{3} {(s_{i j})}^{2} \dots s_{i j} : (S_{3}) の i 行 j 列 要 素 \\ = & \sum_{i = 1}^{3} {(s_{i i})}^{2} + \sum_{i \neq j}^{3} {(s_{i j})}^{2} \dots 第 一 項 : 対 角 要 素, 第 二 項 : 上 側 三 角 行 列 か ら 対 角 要 素 を 除 い た 部 分 \\ = & \sum_{i = 1}^{3} {(s_{i i})}^{2} + \sum_{i < j}^{3} 2 {(s_{i j})}^{2} \dots 第 二 項 : 対 称 行 列 な の で s_{j i} = s_{i j} な の で i < j の 条 件 と す る と 2 倍 \end{array}

$N \times N$ の対称行列

\begin{array}{rcl} S_{N} & = & [\begin{array}{c} s_{11} & s_{12} & \dots & s_{1 N} \\ s_{12} & s_{22} & \dots & s_{2 N} \\ ⋮ & ⋮ & ⋱ & ⋮ \\ s_{1 N} & s_{2 N} & \dots & s_{N N} \end{array}] \dots S : 対 称 行 列 \\ {(S_{N})}^{2} & = & [\begin{array}{c} s_{11} & s_{12} & \dots & s_{1 N} \\ s_{12} & s_{22} & \dots & s_{2 N} \\ ⋮ & ⋮ & ⋱ & ⋮ \\ s_{1 N} & s_{2 N} & \dots & s_{N N} \end{array}] [\begin{array}{c} s_{11} & s_{12} & \dots & s_{1 N} \\ s_{12} & s_{22} & \dots & s_{2 N} \\ ⋮ & ⋮ & ⋱ & ⋮ \\ s_{1 N} & s_{2 N} & \dots & s_{N N} \end{array}] \\ = & [\begin{array}{c} s_{11}^{2} + s_{12}^{2} + \dots + s_{1 N}^{2} & s_{11} s_{12} + s_{12} s_{22} + \dots + s_{1 N} s_{2 N} & \dots & s_{11} s_{1 N} + s_{12} s_{2 N} + \dots + s_{1 N} s_{N N} \\ s_{11} s_{12} + s_{12} s_{22} + \dots + s_{1 N} s_{2 N} & s_{12}^{2} + s_{22}^{2} + \dots + s_{2 N}^{2} & \dots & s_{12} s_{1 N} + s_{22} s_{2 N} + \dots + s_{2 N} s_{N N} \\ ⋮ & ⋮ & ⋱ & ⋮ \\ s_{11} s_{1 N} + s_{12} s_{2 N} + \dots + s_{1 N} s_{N N} & s_{12} s_{1 N} + s_{22} s_{2 N} + \dots + s_{2 N} s_{N N} & \dots & s_{N 1}^{2} + s_{N 2}^{2} + \dots + s_{N N}^{2} \end{array}] \dots {(S_{N})}^{2} も 対 称 行 列 \\ t r ({(S_{N})}^{2}) & = & (s_{11}^{2} + s_{12}^{2} + \dots + s_{1 N}^{2}) + (s_{12}^{2} + s_{22}^{2} + \dots + s_{2 N}^{2}) + \dots + (s_{N 1}^{2} + s_{N 2}^{2} + \dots + s_{N N}^{2}) \dots 対 角 要 素 を 足 し 合 わ せ る, t r a c e \\ = & s_{11}^{2} + 2 s_{12}^{2} + \dots + 2 s_{1 N}^{2} + s_{22}^{2} + 2 s_{23}^{2} + \dots + 2 s_{2 N}^{2} + \dots + s_{N N}^{2} \\ = & \sum_{i = 1}^{3} \sum_{j = 1}^{3} {(s_{i j})}^{2} \dots s_{i j} : (S_{N}) の i 行 j 列 要 素 \\ = & \sum_{i = 1}^{N} {(s_{i i})}^{2} + \sum_{i \neq j}^{N} {(s_{i j})}^{2} \dots 第 一 項 : 対 角 要 素, 第 二 項 : 上 側 三 角 行 列 か ら 対 角 要 素 を 除 い た 部 分 \\ = & \sum_{i = 1}^{N} {(s_{i i})}^{2} + \sum_{i < j}^{N} 2 {(s_{i j})}^{2} \dots 第 二 項 : 対 称 行 列 な の で s_{j i} = s_{i j} な の で i < j の 条 件 と す る と 2 倍 \end{array}

Sxxの式展開

$S_{x x}$ の式展開

\begin{array}{rcl} S_{x x} & = & \sum_{i = 1}^{n} {(x_{i} - \bar{x})}^{2} \\ = & \sum_{i = 1}^{n} {x_{i}^{2} - 2 \bar{x} x_{i} + {\bar{x}}^{2}} \\ = & \sum_{i = 1}^{n} x_{i}^{2} - 2 \bar{x} \sum_{i = 1}^{n} x_{i} + {\bar{x}}^{2} \sum_{i = 1}^{n} 1 \\ = & \sum_{i = 1}^{n} x_{i}^{2} - 2 \bar{x} n \bar{x} + {\bar{x}}^{2} n \\ = & \sum_{i = 1}^{n} x_{i}^{2} - 2 n {\bar{x}}^{2} + n {\bar{x}}^{2} \\ = & \sum_{i = 1}^{n} x_{i}^{2} - n {\bar{x}}^{2} \end{array}

Sxyの式展開

$S x y$ の式展開

\begin{array}{rcl} S_{x y} & = & \sum_{i = 1}^{n} (x_{i} - \bar{x}) (y_{i} - \bar{y}) \\ = & \sum_{i = 1}^{n} {(x_{i} - \bar{x}) y_{i} - (x_{i} - \bar{x}) \bar{y}} \\ = & \sum_{i = 1}^{n} (x_{i} - \bar{x}) y_{i} - \bar{y} \sum_{i = 1}^{n} (x_{i} - \bar{x}) \\ = & \sum_{i = 1}^{n} (x_{i} - \bar{x}) y_{i} - \bar{y} (\sum_{i = 1}^{n} x_{i} - \bar{x} \sum_{i = 1}^{n} 1) \\ = & \sum_{i = 1}^{n} (x_{i} - \bar{x}) y_{i} - \bar{y} (n \bar{x} - \bar{x} n) \dots \bar{x} = \frac{1}{n} \sum_{i = 1}^{n} x_{i}, n \bar{x} = \sum_{i = 1}^{n} x_{i} \\ = & \sum_{i = 1}^{n} (x_{i} - \bar{x}) y_{i} - \bar{y} \cdot 0 \\ = & \sum_{i = 1}^{n} (x_{i} - \bar{x}) y_{i} \\ = & \sum_{i = 1}^{n} x_{i} y_{i} - \bar{x} \sum_{i = 1}^{n} y_{i} \\ = & \sum_{i = 1}^{n} x_{i} y_{i} - \bar{x} n \bar{y} \\ = & \sum_{i = 1}^{n} x_{i} y_{i} - n \bar{x} \bar{y} \end{array}

単回帰モデルの最良線形不偏推定量 α編

単回帰モデルの最良線形不偏推定量 $α$ 編

単回帰モデル

\begin{array}{rcl} y_{i} & = & α + β x_{i} + ϵ_{i} (i = 1, \dots, n) \dots ϵ_{i} \overset{i i d}{\sim} N (0, σ^{2}) \end{array}

単回帰モデルに対する線形推定量の期待値

単回帰モデルの線形推定量に対して期待値を求めると，以下のように式展開される．

\begin{array}{rcl} E [\sum_{i = 1}^{n} c_{i} y_{i}] & = & E [\sum_{i = 1}^{n} c_{i} (α + β x_{i} + ϵ_{i})] \dots y_{i} = α + β x_{i} + ϵ_{i} \\ = & E [\sum_{i = 1}^{n} c_{i} α + \sum_{i = 1}^{n} c_{i} β x_{i} + \sum_{i = 1}^{n} c_{i} ϵ_{i}] \dots \sum (A + B) = \sum A + \sum B \\ = & E [α \sum_{i = 1}^{n} c_{i} + β \sum_{i = 1}^{n} c_{i} x_{i} + \sum_{i = 1}^{n} c_{i} ϵ_{i}] \dots \sum c A = c \sum A \\ = & α \sum_{i = 1}^{n} c_{i} + β \sum_{i = 1}^{n} c_{i} x_{i} + E [\sum_{i = 1}^{n} c_{i} ϵ_{i}] \dots E [X + t] = E [X] + t \\ = & α \sum_{i = 1}^{n} c_{i} + β \sum_{i = 1}^{n} c_{i} x_{i} + \sum_{i = 1}^{n} E [c_{i} ϵ_{i}] \dots E [\sum_{i = 1}^{n} X_{i}] = E [X_{1} + \dots + X_{n}] = E [X_{1}] + \dots + E [X_{n}] = \sum_{i = 1}^{n} E [X_{i}] \\ = & α \sum_{i = 1}^{n} c_{i} + β \sum_{i = 1}^{n} c_{i} x_{i} + \sum_{i = 1}^{n} c_{i} E [ϵ_{i}] \dots E [c X] = c E [X] \\ = & α \sum_{i = 1}^{n} c_{i} + β \sum_{i = 1}^{n} c_{i} x_{i} + \sum_{i = 1}^{n} c_{i} \cdot 0 \dots E [ϵ_{i}] = 0 \\ = & α \sum_{i = 1}^{n} c_{i} + β \sum_{i = 1}^{n} c_{i} x_{i} \end{array}

単回帰モデルに対する線形推定量の分散

\begin{array}{rcl} V [\sum_{i = 1}^{n} c_{i} y_{i}] & = & \sum_{i = 1}^{n} V [c_{i} y_{i}] \\ = & \sum_{i = 1}^{n} c_{i}^{2} V [y_{i}] \\ = & \sum_{i = 1}^{n} c_{i}^{2} σ^{2} \\ = & σ^{2} \sum_{i = 1}^{n} c_{i}^{2} \end{array}

$α$ の線形推定量

単回帰モデルの推定量

α

の線形推定量を

\tilde{α}

とすると，この期待値は以下のように求められる．

\begin{array}{rcl} E [\tilde{α}] & = & E [\sum_{i = 1}^{n} c_{i} y_{i}] \dots 線 形 推 定 量 と す る 仮 定 よ り \tilde{α} = \sum_{i = 1}^{n} c_{i} y_{i} \\ = & α \sum_{i = 1}^{n} c_{i} + β \sum_{i = 1}^{n} c_{i} x_{i} \end{array}

この

\tilde{α}

が不偏推定量であるためには上記の

\tilde{α}

の期待値が

α

である必要がある.
よって式展開した結果の

α, β

の係数である

\sum_{i = 1}^{n} c_{i}, \sum_{i = 1}^{n} c_{i} x_{i}

が以下の条件を満たす必要があるが，逆に条件を満たせば不偏推定量である．

\begin{array}{r} {\begin{matrix} \sum_{i = 1}^{n} c_{i} & = & 1 \\ \sum_{i = 1}^{n} c_{i} x_{i} & = & 0 \end{matrix} \end{array}

不偏推定量となる線形推定量

\tilde{α}

の中で分散

σ^{2} \sum_{i = 1}^{n} c_{i}^{2}

が最小となるものを最良線形不偏推定量(best linear unbiased estimator; BLUE)と呼ぶ．ここでは

{\hat{α}}_{B L U E}

と表すこととする．

\begin{array}{r} {\begin{matrix} f (c_{1}, \dots, c_{n}) & = & σ^{2} \sum_{i = 1}^{n} c_{i}^{2} & 最 小 & 目 的 凾 数 \\ g (c_{1}, \dots, c_{n}) & = & \sum_{i = 1}^{n} c_{i} - 1 & = & 0 & 制 約 条 件 \\ h (c_{1}, \dots, c_{n}) & = & \sum_{i = 1}^{n} c_{i} x_{i} & = & 0 & 制 約 条 件 \end{matrix} \end{array}

${\hat{α}}_{B L U E}$ の最良線形不偏推定量を求める

ラグランジュの未定乗数法を用いる．束縛条件に係数をかけて目的凾数と線形結合した式を作成する．

\begin{array}{rcl} L & = & L (c_{1}, \dots, c_{n}, λ, μ) \\ = & f (c_{1}, \dots, c_{n}) + λ g (c_{1}, \dots, c_{n}) + μ h (c_{1}, \dots, c_{n}) \\ = & σ^{2} (\sum_{i = 1}^{n} c_{i}^{2}) + λ (\sum_{i = 1}^{n} c_{i} - 1) + μ (\sum_{i = 1}^{n} c_{i} x_{i}) \end{array}

L

を各変数

c_{i}

で微分したものを連立させる．

\begin{array}{rclrc} \frac{\partial L}{\partial c_{i}} & = & 0 & (i = 1, \dots, n) \\ 2 σ^{2} c_{i} + λ + μ x_{i} & = & 0 & (i = 1, \dots, n) & \dots L を c_{i} で 微 分 し た n 個 の 等 式 が で き る \dots 式 A \end{array}

連立させた式をまとめた式を一つ作る(その1)．

\begin{array}{rclrc} 2 σ^{2} \sum_{i = 1}^{n} c_{i} + λ \sum_{i = 1}^{n} 1 + μ \sum_{i = 1}^{n} x_{i} & = & 0 & \dots 式 A を i に つ い て 和 を と っ た \\ 2 σ^{2} \sum_{i = 1}^{n} c_{i} + λ \cdot n + μ n \bar{x} & = & 0 & \dots \sum_{i = 1}^{n} 1 = n, \sum_{i = 1}^{n} x_{i} = n \bar{x} \\ 2 σ^{2} \cdot 1 + λ \cdot n + μ n \bar{x} & = & 0 & \dots \sum_{i = 1}^{n} c_{i} = 1 (制 約 条 件) \\ 2 σ^{2} + λ n + μ n \bar{x} & = & 0 \end{array}

連立させた式をまとめた式を一つ作る(その2)．

\begin{array}{rclrc} c_{i} (2 σ^{2} c_{i} + λ + μ x_{i}) & = & c_{i} 0 & (i = 1, \dots, n) & \dots 式 A を 両 辺 c_{i} 倍 し た \\ 2 σ^{2} c_{i}^{2} + λ c_{i} + μ c_{i} x_{i} & = & 0 & (i = 1, \dots, n) \\ 2 σ^{2} \sum_{i = 1}^{n} c_{i}^{2} + λ \sum_{i = 1}^{n} c_{i} + μ \sum_{i = 1}^{n} c_{i} x_{i} & = & 0 & \dots i に つ い て 和 を と っ た \\ 2 σ^{2} \sum_{i = 1}^{n} c_{i}^{2} + λ \cdot 1 + μ \cdot 0 & = & 0 & \dots \sum_{i = 1}^{n} c_{i} = 1 (制 約 条 件), \sum_{i = 1}^{n} c_{i} x_{i} = 0 (制 約 条 件) \\ 2 σ^{2} \sum_{i = 1}^{n} c_{i}^{2} + λ & = & 0 \end{array}

連立させた式をまとめた式を一つ作る(その3)．

\begin{array}{rclrc} x_{i} (2 σ^{2} c_{i} + λ + μ x_{i}) & = & x_{i} 0 & (i = 1, \dots, n) & \dots 式 A を 両 辺 x_{i} 倍 し た \\ 2 σ^{2} c_{i} x_{i} + λ x_{i} + μ x_{i}^{2} & = & 0 & (i = 1, \dots, n) \\ 2 σ^{2} \sum_{i = 1}^{n} c_{i} x_{i} + λ \sum_{i = 1}^{n} x_{i} + μ \sum_{i = 1}^{n} x_{i}^{2} & = & 0 & \dots i に つ い て 和 を と っ た \\ 2 σ^{2} \sum_{i = 1}^{n} c_{i} x_{i} + λ n \bar{x} + μ \sum_{i = 1}^{n} x_{i}^{2} & = & 0 & \dots \sum_{i = 1}^{n} x_{i} = n \bar{x} \\ 2 σ^{2} \cdot 0 + λ \cdot n \bar{x} + μ \sum_{i = 1}^{n} x_{i}^{2} & = & 0 & \dots \sum_{i = 1}^{n} c_{i} x_{i} = 0 (制 約 条 件) \\ λ n \bar{x} + μ \sum_{i = 1}^{n} x_{i}^{2} & = & 0 \end{array}

まとめた式を改めて連立させる．

\begin{array}{r} {\begin{matrix} 2 σ^{2} + λ n + μ n \bar{x} & = & 0 \\ 2 σ^{2} \sum_{i = 1}^{n} c_{i}^{2} + λ & = & 0 \\ λ n \bar{x} + μ \sum_{i = 1}^{n} x_{i}^{2} & = & 0 \end{matrix} \end{array}

${\hat{α}}_{B L U E}$ の $λ, μ$ を求める

改めて連立させた式を用いて定数

λ, μ

を求めていく．

\begin{array}{rcl} 2 σ^{2} + λ n + μ n \bar{x} & = & 0 \\ μ n \bar{x} & = & - 2 σ^{2} - λ n \\ μ & = & \frac{- (2 σ^{2} + λ n)}{n \bar{x}} \\ λ n \bar{x} + μ \sum_{i = 1}^{n} x_{i}^{2} & = & 0 \\ λ n \bar{x} + \frac{- 2 σ^{2} - λ n}{n \bar{x}} \sum_{i = 1}^{n} x_{i}^{2} & = & 0 \\ n \bar{x} (λ n \bar{x} + \frac{- 2 σ^{2} - λ n}{n \bar{x}} \sum_{i = 1}^{n} x_{i}^{2}) & = & n \bar{x} 0 \\ λ n^{2} {\bar{x}}^{2} + (- 2 σ^{2} - λ n) \sum_{i = 1}^{n} x_{i}^{2} & = & 0 \\ λ n^{2} {\bar{x}}^{2} - 2 σ^{2} \sum_{i = 1}^{n} x_{i}^{2} - λ n \sum_{i = 1}^{n} x_{i}^{2} & = & 0 \\ λ n^{2} {\bar{x}}^{2} - λ n \sum_{i = 1}^{n} x_{i}^{2} & = & 2 σ^{2} \sum_{i = 1}^{n} x_{i}^{2} \\ - n λ (\sum_{i = 1}^{n} x_{i}^{2} - n {\bar{x}}^{2}) & = & 2 σ^{2} \sum_{i = 1}^{n} x_{i}^{2} \\ - n λ S_{x x} & = & 2 σ^{2} \sum_{i = 1}^{n} x_{i}^{2} \dots S_{x x} = \sum_{i = 1}^{n} x_{i}^{2} - n {\bar{x}}^{2} \\ λ & = & \frac{2 σ^{2} \sum_{i = 1}^{n} x_{i}^{2}}{- n S_{x x}} \\ = & \frac{- 2 σ^{2} \sum_{i = 1}^{n} x_{i}^{2}}{n S_{x x}} \\ λ n \bar{x} + μ \sum_{i = 1}^{n} x_{i}^{2} & = & 0 \\ μ \sum_{i = 1}^{n} x_{i}^{2} & = & - λ n \bar{x} \\ μ & = & λ \frac{- n \bar{x}}{\sum_{i = 1}^{n} x_{i}^{2}} \\ = & \frac{- 2 σ^{2} \sum_{i = 1}^{n} x_{i}^{2}}{n S_{x x}} \frac{- n \bar{x}}{\sum_{i = 1}^{n} x_{i}^{2}} \\ = & \frac{2 σ^{2} \bar{x}}{S_{x x}} \end{array}

${\hat{α}}_{B L U E}$ の $c_{i}$ を求める

求めた定数

λ, μ

を用いて，最小となる変数

c_{i}

を求める．

\begin{array}{rcl} 2 σ^{2} c_{i} + λ + μ x_{i} & = & 0 \\ c_{i} & = & - \frac{λ + μ x_{i}}{2 σ^{2}} \\ = & - \frac{1}{2 σ^{2}} (\frac{- 2 σ^{2} \sum_{i = 1}^{n} x_{i}^{2}}{n S_{x x}} + \frac{2 σ^{2} \bar{x}}{S_{x x}} x_{i}) \\ = & - \frac{1}{2 σ^{2}} (\frac{- 2 σ^{2} \sum_{i = 1}^{n} x_{i}^{2}}{n S_{x x}} + \frac{2 n σ^{2} \bar{x}}{n S_{x x}} x_{i}) \\ = & - \frac{1}{2 σ^{2}} (\frac{- 2 σ^{2} \sum_{i = 1}^{n} x_{i}^{2} + 2 n σ^{2} \bar{x} x_{i}}{n S_{x x}}) \\ = & - \frac{1}{2 σ^{2}} (\frac{- 2 σ^{2} (\sum_{i = 1}^{n} x_{i}^{2} - n \bar{x} x_{i})}{n S_{x x}}) \\ = & \frac{\sum_{i = 1}^{n} x_{i}^{2} - n \bar{x} x_{i}}{n S_{x x}} \\ = & \frac{A}{n} + \frac{B}{S_{x x}} \dots 部 分 分 数 分 解, A S_{x x} + B n = \sum_{i = 1}^{n} x_{i}^{2} - n \bar{x} x_{i} \\ = & \frac{1}{n} + \frac{\bar{x} (\bar{x} - x_{i})}{S_{x x}} \\ \dots A S_{x x} + B n = \sum_{i = 1}^{n} x_{i}^{2} - n \bar{x} x_{i} \\ \dots A (\sum_{i = 1}^{n} x_{i}^{2} - n {\bar{x}}^{2}) + B n = \sum_{i = 1}^{n} x_{i}^{2} - n \bar{x} x_{i} \\ \dots A \sum_{i = 1}^{n} x_{i}^{2} - A n {\bar{x}}^{2} + B n = \sum_{i = 1}^{n} x_{i}^{2} - n \bar{x} x_{i} \\ \dots A \sum_{i = 1}^{n} x_{i}^{2} = \sum_{i = 1}^{n} x_{i}^{2} \vec{} A = 1 (係 数 比 較) \\ \dots - A n {\bar{x}}^{2} + B n = - n \bar{x} x_{i} \vec{} B = {\bar{x}}^{2} - \bar{x} x_{i} = \bar{x} (\bar{x} - x_{i}) (係 数 比 較) \\ = & \frac{1}{n} - \frac{\bar{x} (x_{i} - \bar{x})}{S_{x x}} \end{array}

これは最小二乗推定量

\hat{α}

と同じである．

\begin{array}{rcl} {\hat{α}}_{B L U E} & = & \sum_{i = 1}^{n} c_{i} y_{i} \\ = & \sum_{i = 1}^{n} (\frac{1}{n} - \frac{\bar{x} (x_{i} - \bar{x})}{S_{x x}}) y_{i} \dots c_{i} = \frac{1}{n} - \frac{\bar{x} (x_{i} - \bar{x})}{S_{x x}} \\ = & \sum_{i = 1}^{n} \frac{1}{n} y_{i} - \sum_{i = 1}^{n} \frac{\bar{x} (x_{i} - \bar{x})}{S_{x x}} y_{i} \dots \sum (A_{i} + B_{i}) = \sum A_{i} + \sum B_{i} \\ = & \frac{1}{n} \sum_{i = 1}^{n} y_{i} - \frac{\bar{x}}{S_{x x}} \sum_{i = 1}^{n} (x_{i} - \bar{x}) y_{i} \dots \sum c A_{i} = c \sum A_{i} \\ = & \frac{1}{n} n \bar{y} - \frac{S_{x y}}{S_{x x}} \bar{x} \dots \sum_{i = 1}^{n} y_{i} = n \bar{y}, \sum_{i = 1}^{n} (x_{i} - \bar{x}) y_{i} = S_{x y} \\ = & \bar{y} - \hat{β} \bar{x} \dots \hat{β} = \frac{S_{x y}}{S_{x x}} \\ = & \hat{α} \dots \hat{α} = \bar{y} - \hat{β} \bar{x} \end{array}

${\hat{α}}_{B L U E}$ の分散

{\hat{α}}_{B L U E}

の分散

σ^{2} \sum_{i = 1}^{n} c_{i}^{2}

を最小とするための変数

c_{i}

を用いて以下のようになる．

\begin{array}{rcl} 2 σ^{2} \sum_{i = 1}^{n} c_{i}^{2} + λ & = & 0 \\ σ^{2} \sum_{i = 1}^{n} c_{i}^{2} & = & - \frac{1}{2} λ \\ = & - \frac{1}{2} \frac{- 2 σ^{2} \sum_{i = 1}^{n} x_{i}^{2}}{n S_{x x}} \\ = & σ^{2} \frac{\sum_{i = 1}^{n} x_{i}^{2}}{n S_{x x}} \\ = & σ^{2} (\frac{A}{n} + \frac{B}{S_{x x}}) \dots 部 分 分 数 分 解, A S_{x x} + B n = \sum_{i = 1}^{n} x_{i}^{2} \\ = & σ^{2} (\frac{1}{n} + \frac{{\bar{x}}^{2}}{S_{x x}}) \\ \dots A S_{x x} + B n = \sum_{i = 1}^{n} x_{i}^{2} \\ \dots A (\sum_{i = 1}^{n} x_{i}^{2} - n {\bar{x}}^{2}) + B n = \sum_{i = 1}^{n} x_{i}^{2} (S_{x x} = \sum_{i = 1}^{n} x_{i}^{2} - n {\bar{x}}^{2}) \\ \dots A \sum_{i = 1}^{n} x_{i}^{2} - A n {\bar{x}}^{2} + B n = \sum_{i = 1}^{n} x_{i}^{2} \\ \dots A \sum_{i = 1}^{n} x_{i}^{2} = \sum_{i = 1}^{n} x_{i}^{2} \vec{} A = 1 (係 数 比 較) \\ \dots - A n {\bar{x}}^{2} + B n = 0 \vec{} B = {\bar{x}}^{2} (係 数 比 較) \end{array}

単回帰モデルの最良線形不偏推定量 β編

単回帰モデルの最良線形不偏推定量 $β$ 編

単回帰モデル

\begin{array}{rcl} y_{i} & = & α + β x_{i} + ϵ_{i} (i = 1, \dots, n) \dots ϵ_{i} \overset{i i d}{\sim} N (0, σ^{2}) \end{array}

単回帰モデルに対する線形推定量の期待値

単回帰モデルの線形推定量に対して期待値を求めると，以下のように式展開される．

\begin{array}{rcl} E [\sum_{i = 1}^{n} c_{i} y_{i}] & = & E [\sum_{i = 1}^{n} c_{i} (α + β x_{i} + ϵ_{i})] \dots y_{i} = α + β x_{i} + ϵ_{i} \\ = & E [\sum_{i = 1}^{n} c_{i} α + \sum_{i = 1}^{n} c_{i} β x_{i} + \sum_{i = 1}^{n} c_{i} ϵ_{i}] \dots \sum (A + B) = \sum A + \sum B \\ = & E [α \sum_{i = 1}^{n} c_{i} + β \sum_{i = 1}^{n} c_{i} x_{i} + \sum_{i = 1}^{n} c_{i} ϵ_{i}] \dots \sum c A = c \sum A \\ = & α \sum_{i = 1}^{n} c_{i} + β \sum_{i = 1}^{n} c_{i} x_{i} + E [\sum_{i = 1}^{n} c_{i} ϵ_{i}] \dots E [X + t] = E [X] + t \\ = & α \sum_{i = 1}^{n} c_{i} + β \sum_{i = 1}^{n} c_{i} x_{i} + \sum_{i = 1}^{n} E [c_{i} ϵ_{i}] \dots E [\sum_{i = 1}^{n} X_{i}] = E [X_{1} + \dots + X_{n}] = E [X_{1}] + \dots + E [X_{n}] = \sum_{i = 1}^{n} E [X_{i}] \\ = & α \sum_{i = 1}^{n} c_{i} + β \sum_{i = 1}^{n} c_{i} x_{i} + \sum_{i = 1}^{n} c_{i} E [ϵ_{i}] \dots E [c X] = c E [X] \\ = & α \sum_{i = 1}^{n} c_{i} + β \sum_{i = 1}^{n} c_{i} x_{i} + \sum_{i = 1}^{n} c_{i} \cdot 0 \dots E [ϵ_{i}] = 0 \\ = & α \sum_{i = 1}^{n} c_{i} + β \sum_{i = 1}^{n} c_{i} x_{i} \end{array}

単回帰モデルに対する線形推定量の分散

\begin{array}{rcl} V [\sum_{i = 1}^{n} c_{i} y_{i}] & = & \sum_{i = 1}^{n} V [c_{i} y_{i}] \\ = & \sum_{i = 1}^{n} c_{i}^{2} V [y_{i}] \\ = & \sum_{i = 1}^{n} c_{i}^{2} σ^{2} \\ = & σ^{2} \sum_{i = 1}^{n} c_{i}^{2} \end{array}

$β$ の線形推定量

単回帰モデルの推定量

β

の線形推定量を

\tilde{β}

とすると，この期待値は以下のように求められる．

\begin{array}{rcl} E [\tilde{β}] & = & E [\sum_{i = 1}^{n} c_{i} y_{i}] \dots 線 形 推 定 量 と す る 仮 定 よ り \tilde{β} = \sum_{i = 1}^{n} c_{i} y_{i} \\ = & α \sum_{i = 1}^{n} c_{i} + β \sum_{i = 1}^{n} c_{i} x_{i} \end{array}

この

\tilde{β}

が不偏推定量であるためには上記の

\tilde{β}

の期待値が

β

である必要がある.
よって式展開した結果の

α, β

の係数である

\sum_{i = 1}^{n} c_{i}, \sum_{i = 1}^{n} c_{i} x_{i}

が以下の条件を満たす必要があるが，逆に条件を満たせば不偏推定量である．

\begin{array}{r} {\begin{matrix} \sum_{i = 1}^{n} c_{i} & = & 0 \\ \sum_{i = 1}^{n} c_{i} x_{i} & = & 1 \end{matrix} \end{array}

不偏推定量となる線形推定量

\tilde{β}

の中で分散

σ^{2} \sum_{i = 1}^{n} c_{i}^{2}

が最小となるものを最良線形不偏推定量(best linear unbiased estimator; BLUE)と呼ぶ．ここでは

{\hat{β}}_{B L U E}

と表すこととする．

\begin{array}{r} {\begin{matrix} f (c_{1}, \dots, c_{n}) & = & σ^{2} \sum_{i = 1}^{n} c_{i}^{2} & 最 小 & 目 的 凾 数 \\ g (c_{1}, \dots, c_{n}) & = & \sum_{i = 1}^{n} c_{i} & = & 0 & 制 約 条 件 \\ h (c_{1}, \dots, c_{n}) & = & \sum_{i = 1}^{n} c_{i} x_{i} - 1 & = & 0 & 制 約 条 件 \end{matrix} \end{array}

${\hat{β}}_{B L U E}$ の最良線形不偏推定量を求める

ラグランジュの未定乗数法を用いる．束縛条件に係数をかけて目的凾数と線形結合した式を作成する．

\begin{array}{rcl} L & = & L (c_{1}, \dots, c_{n}, λ, μ) \\ = & f (c_{1}, \dots, c_{n}) + λ g (c_{1}, \dots, c_{n}) + μ h (c_{1}, \dots, c_{n}) \\ = & σ^{2} (\sum_{i = 1}^{n} c_{i}^{2}) + λ (\sum_{i = 1}^{n} c_{i}) + μ (\sum_{i = 1}^{n} c_{i} x_{i} - 1) \end{array}

L

を各変数

c_{i}

で微分したものを連立させる．

\begin{array}{rclrc} \frac{\partial L}{\partial c_{i}} & = & 0 & (i = 1, \dots, n) \\ 2 σ^{2} c_{i} + λ + μ x_{i} & = & 0 & (i = 1, \dots, n) & \dots L を c_{i} で 微 分 し た n 個 の 等 式 が で き る \dots 式 A \end{array}

連立させた式をまとめた式を一つ作る(その1)．

\begin{array}{rclrc} 2 σ^{2} \sum_{i = 1}^{n} c_{i} + λ \sum_{i = 1}^{n} 1 + μ \sum_{i = 1}^{n} x_{i} & = & 0 & \dots 式 A を i に つ い て 和 を と っ た \\ 2 σ^{2} \sum_{i = 1}^{n} c_{i} + λ \cdot n + μ n \bar{x} & = & 0 & \dots \sum_{i = 1}^{n} 1 = n, \sum_{i = 1}^{n} x_{i} = n \bar{x} \\ 2 σ^{2} \cdot 0 + λ \cdot n + μ n \bar{x} & = & 0 & \dots \sum_{i = 1}^{n} c_{i} = 0 (制 約 条 件) \\ λ n + μ n \bar{x} & = & 0 \end{array}

連立させた式をまとめた式を一つ作る(その2)．

\begin{array}{rclrc} c_{i} (2 σ^{2} c_{i} + λ + μ x_{i}) & = & c_{i} 0 & (i = 1, \dots, n) & \dots 式 A を 両 辺 c_{i} 倍 し た \\ 2 σ^{2} c_{i}^{2} + λ c_{i} + μ c_{i} x_{i} & = & 0 & (i = 1, \dots, n) \\ 2 σ^{2} \sum_{i = 1}^{n} c_{i}^{2} + λ \sum_{i = 1}^{n} c_{i} + μ \sum_{i = 1}^{n} c_{i} x_{i} & = & 0 & \dots i に つ い て 和 を と っ た \\ 2 σ^{2} \sum_{i = 1}^{n} c_{i}^{2} + λ \cdot 0 + μ \cdot 1 & = & 0 & \dots \sum_{i = 1}^{n} c_{i} = 0 (制 約 条 件), \sum_{i = 1}^{n} c_{i} x_{i} = 1 (制 約 条 件) \\ 2 σ^{2} \sum_{i = 1}^{n} c_{i}^{2} + μ & = & 0 \end{array}

連立させた式をまとめた式を一つ作る(その3)．

\begin{array}{rclrc} x_{i} (2 σ^{2} c_{i} + λ + μ x_{i}) & = & x_{i} 0 & (i = 1, \dots, n) & \dots 式 A を 両 辺 x_{i} 倍 し た \\ 2 σ^{2} c_{i} x_{i} + λ x_{i} + μ x_{i}^{2} & = & 0 & (i = 1, \dots, n) \\ 2 σ^{2} \sum_{i = 1}^{n} c_{i} x_{i} + λ \sum_{i = 1}^{n} x_{i} + μ \sum_{i = 1}^{n} x_{i}^{2} & = & 0 & \dots i に つ い て 和 を と っ た \\ 2 σ^{2} \sum_{i = 1}^{n} c_{i} x_{i} + λ n \bar{x} + μ \sum_{i = 1}^{n} x_{i}^{2} & = & 0 & \dots \sum_{i = 1}^{n} x_{i} = n \bar{x} \\ 2 σ^{2} \cdot 1 + λ \cdot n \bar{x} + μ \sum_{i = 1}^{n} x_{i}^{2} & = & 0 & \dots \sum_{i = 1}^{n} c_{i} x_{i} = 1 (制 約 条 件) \\ 2 σ^{2} + λ n \bar{x} + μ \sum_{i = 1}^{n} x_{i}^{2} & = & 0 \end{array}

まとめた式を改めて連立させる．

\begin{array}{r} {\begin{matrix} λ n + μ n \bar{x} & = & 0 \\ 2 σ^{2} \sum_{i = 1}^{n} c_{i}^{2} + μ & = & 0 \\ 2 σ^{2} + λ n \bar{x} + μ \sum_{i = 1}^{n} x_{i}^{2} & = & 0 \end{matrix} \end{array}

${\hat{β}}_{B L U E}$ の $λ, μ$ を求める

改めて連立させた式を用いて定数

λ, μ

を求めていく．

\begin{array}{rcl} λ n & = & - μ n \bar{x} \\ λ & = & \frac{- μ n \bar{x}}{n} \\ = & - μ \bar{x} \\ 2 σ^{2} + λ n \bar{x} + μ \sum_{i = 1}^{n} x_{i}^{2} & = & 0 \\ 2 σ^{2} + (- μ \bar{x}) n \bar{x} + μ \sum_{i = 1}^{n} x_{i}^{2} & = & 0 \\ 2 σ^{2} - μ n {\bar{x}}^{2} + μ \sum_{i = 1}^{n} x_{i}^{2} & = & 0 \\ - μ n {\bar{x}}^{2} + μ \sum_{i = 1}^{n} x_{i}^{2} & = & - 2 σ^{2} \\ μ (\sum_{i = 1}^{n} x_{i}^{2} - n {\bar{x}}^{2}) & = & - 2 σ^{2} \\ μ S_{x x} & = & - 2 σ^{2} \dots S_{x x} = \sum_{i = 1}^{n} x_{i}^{2} - n {\bar{x}}^{2} \\ μ & = & \frac{- 2 σ^{2}}{S_{x x}} \\ λ & = & - μ \bar{x} \\ = & - \frac{- 2 σ^{2}}{S_{x x}} \bar{x} \\ = & \frac{2 σ^{2} \bar{x}}{S_{x x}} \end{array}

${\hat{β}}_{B L U E}$ の $c_{i}$ を求める

求めた定数

λ, μ

を用いて，最小となる変数

c_{i}

を求める．

\begin{array}{rcl} 2 σ^{2} c_{i} + λ + μ x_{i} & = & 0 \\ 2 σ^{2} c_{i} + \frac{2 σ^{2} \bar{x}}{S_{x x}} + \frac{- 2 σ^{2}}{S_{x x}} x_{i} & = & 0 \\ 2 σ^{2} c_{i} - \frac{2 σ^{2}}{S_{x x}} (x_{i} - \bar{x}) & = & 0 \\ 2 σ^{2} c_{i} & = & \frac{2 σ^{2}}{S_{x x}} (x_{i} - \bar{x}) \\ c_{i} & = & \frac{1}{2 σ^{2}} \frac{2 σ^{2}}{S_{x x}} (x_{i} - \bar{x}) \\ = & \frac{1}{S_{x x}} (x_{i} - \bar{x}) \end{array}

これは最小二乗推定量

\hat{β}

と同じである．

\begin{array}{rcl} {\hat{β}}_{B L U E} & = & \sum_{i = 1}^{n} c_{i} y_{i} \\ = & \sum_{i = 1}^{n} \frac{1}{S_{x x}} (x_{i} - \bar{x}) y_{i} \dots c_{i} = \frac{1}{S_{x x}} (x_{i} - \bar{x}) \\ = & \frac{1}{S_{x x}} \sum_{i = 1}^{n} (x_{i} - \bar{x}) y_{i} \dots \sum c A_{i} = c \sum A_{i} \\ = & \frac{S_{x y}}{S_{x x}} \dots \sum_{i = 1}^{n} (x_{i} - \bar{x}) y_{i} = S_{x y} \\ = & \hat{β} \dots \hat{β} = \frac{S_{x y}}{S_{x x}} \end{array}

${\hat{β}}_{B L U E}$ の分散

{\hat{β}}_{B L U E}

の分散

σ^{2} \sum_{i = 1}^{n} c_{i}^{2}

を最小とするための変数

c_{i}

を用いて以下のようになる．

\begin{array}{rcl} 2 σ^{2} \sum_{i = 1}^{n} c_{i}^{2} + μ & = & 0 \\ 2 σ^{2} \sum_{i = 1}^{n} c_{i}^{2} + \frac{- 2 σ^{2}}{S_{x x}} & = & 0 \\ 2 σ^{2} \sum_{i = 1}^{n} c_{i}^{2} & = & \frac{2 σ^{2}}{S_{x x}} \\ σ^{2} \sum_{i = 1}^{n} c_{i}^{2} & = & \frac{2 σ^{2}}{2 S_{x x}} \\ = & σ^{2} \frac{1}{S_{x x}} \end{array}

登録: 投稿 (Atom)

式展開

対称行列の二乗のトレースは，元の対称行列の各要素の二乗の和

2×2の対称行列

3×3の対称行列

N×Nの対称行列

Sxxの式展開

Sxxの式展開

Sxyの式展開

Sxyの式展開

単回帰モデルの最良線形不偏推定量 α編

単回帰モデルの最良線形不偏推定量 α編

単回帰モデル

単回帰モデルに対する線形推定量の期待値

単回帰モデルに対する線形推定量の分散

αの線形推定量

α^BLUEの最良線形不偏推定量を求める

α^BLUEのλ,μを求める

α^BLUEのciを求める

α^BLUEの分散

単回帰モデルの最良線形不偏推定量 β編

単回帰モデルの最良線形不偏推定量 β編

単回帰モデル

単回帰モデルに対する線形推定量の期待値

単回帰モデルに対する線形推定量の分散

βの線形推定量

β^BLUEの最良線形不偏推定量を求める

β^BLUEのλ,μを求める

β^BLUEのciを求める

β^BLUEの分散

$2 \times 2$ の対称行列

$3 \times 3$ の対称行列

$N \times N$ の対称行列

$S_{x x}$ の式展開

$S x y$ の式展開

単回帰モデルの最良線形不偏推定量 $α$ 編

$α$ の線形推定量

${\hat{α}}_{B L U E}$ の最良線形不偏推定量を求める

${\hat{α}}_{B L U E}$ の $λ, μ$ を求める

${\hat{α}}_{B L U E}$ の $c_{i}$ を求める

${\hat{α}}_{B L U E}$ の分散

単回帰モデルの最良線形不偏推定量 $β$ 編

$β$ の線形推定量

${\hat{β}}_{B L U E}$ の最良線形不偏推定量を求める

${\hat{β}}_{B L U E}$ の $λ, μ$ を求める

${\hat{β}}_{B L U E}$ の $c_{i}$ を求める

${\hat{β}}_{B L U E}$ の分散