式展開: 4月 2020

クラメール-ラオの下限

クラメール-ラオの下限

\begin{array}{rcl} E [\hat{θ}] & = & θ \dots \hat{θ} を θ の 不 偏 推 定 量 と す る \\ \frac{\partial}{\partial θ} E [\hat{θ}] & = & \frac{\partial}{\partial θ} θ \dots 両 辺 を θ で 微 分 す る \\ \frac{\partial}{\partial θ} \int \hat{θ} f (x; θ) d x & = & 1 \dots 右 辺 は θ を θ で 微 分 し た の で 1 \\ \dots 左 辺 は 期 待 値 の 定 義 通 り E [\hat{θ}] = \int_{X} \hat{θ} f (x; θ) d x と 展 開 し た \\ \dots f (x; θ) は θ を パ ラ メ タ と し た x の 確 率 密 度 分 布 で あ る \end{array}

\begin{array}{rcl} 1 = \frac{\partial}{\partial θ} \int \hat{θ} f (x; θ) d x & = & \int \hat{θ} \frac{\partial f (x; θ)}{\partial θ} d x \dots 微 分 と 積 分 の 順 番 を 入 れ 替 え ら れ る 場 合 を 考 え る \\ = & \int \hat{θ} \frac{\partial f (x; θ)}{\partial θ} {\frac{1}{f (x; θ)} f (x; θ)} d x \\ = & \int \hat{θ} {\frac{\partial f (x; θ)}{\partial θ} \frac{1}{f (x; θ)}} f (x; θ) d x \\ = & \int \hat{θ} \frac{\partial \log f (x; θ)}{\partial θ} f (x; θ) d x \dots \frac{\partial f (x; θ)}{\partial θ} \frac{1}{f (x; θ)} = \frac{\partial \log f (x; θ)}{\partial θ} \\ = & E [\hat{θ} \frac{\partial \log f (x; θ)}{\partial θ}] \\ = & E [\hat{θ} \frac{\partial \log f (x; θ)}{\partial θ}] - θ E [\frac{\partial \log f (x; θ)}{\partial θ}] \dots ス コ ア 凾 数 の 期 待 値 は 0 (E [\frac{\partial \log f (x; θ)}{\partial θ}] = 0) な の で 加 え て も 変 わ ら な い \\ = & E [\hat{θ} \frac{\partial \log f (x; θ)}{\partial θ} - θ \frac{\partial \log f (x; θ)}{\partial θ}] \dots c E [X] = E [c X], E [X] + E [Y] = E [X + Y] \\ = & E [(\hat{θ} - θ) \frac{\partial \log f (x; θ)}{\partial θ}] \\ = & E [((\hat{θ} - θ) - E [(\hat{θ} - θ)]) (\frac{\partial \log f (x; θ)}{\partial θ} - E [\frac{\partial \log f (x; θ)}{\partial θ}])] \dots E [(\hat{θ} - θ)] = E [\hat{θ}] - E [θ] = θ - θ = 0, E [\frac{\partial \log f (x; θ)}{\partial θ}] = 0 \\ = & Cov [\hat{θ}, \frac{\partial \log f (x; θ)}{\partial θ}] \dots E [(X - E [X]) (Y - E [Y])] \end{array}

\begin{array}{rcl} - 1 \leq ρ & \leq & 1 \dots ρ を 相 関 係 数 と す る \\ - 1 \leq \frac{Cov [X, Y]}{\sqrt{V [X]} \sqrt{V [Y]}} & \leq & 1 \dots ρ = \frac{Cov [X, Y]}{\sqrt{V [X]} \sqrt{V [Y]}} \\ - 1 \leq \frac{Cov [\hat{θ}, \frac{\partial \log f (x; θ)}{\partial θ}]}{\sqrt{V [\hat{θ}]} \sqrt{V [\frac{\partial \log f (x; θ)}{\partial θ}]}} & \leq & 1 \dots ρ = \frac{Cov [\hat{θ}, \frac{\partial \log f (x; θ)}{\partial θ}]}{\sqrt{V [\hat{θ}]} \sqrt{V [\frac{\partial \log f (x; θ)}{\partial θ}]}} \end{array}

\begin{array}{rcl} ρ^{2} & \leq & 1 \\ \frac{Cov {[\hat{θ}, \frac{\partial \log f (x; θ)}{\partial θ}]}^{2}}{V [\hat{θ}] V [\frac{\partial \log f (x; θ)}{\partial θ}]} & \leq & 1 \\ \frac{1^{2}}{V [\hat{θ}] V [\frac{\partial \log f (x; θ)}{\partial θ}]} & \leq & 1 \dots Cov [\hat{θ}, \frac{\partial \log f (x; θ)}{\partial θ}] = 1 \\ \frac{1}{V [\frac{\partial \log f (x; θ)}{\partial θ}]} & \leq & V [\hat{θ}] \dots V [\hat{θ}] : 不 偏 推 定 量 の 分 散 \\ V {[\frac{\partial \log f (x; θ)}{\partial θ}]}^{- 1} & \leq & V [\hat{θ}] \\ I^{- 1} & \leq & V [\hat{θ}] \dots I = V [\frac{\partial \log f (x; θ)}{\partial θ}] : フ ィ ッ シ ャ ー 情 報 量 \end{array}

パラメタの推定(不偏推定量)の分散(パラメタの推定値と真の値(標本が従っている確率分布凾数のパラメタという意味で)との平均二乗誤差)は，フィッシャー情報量の逆数以下にはならないことを示す．

不偏推定量の分散(平均二乗誤差)

推定したパラメタ(不偏推定量)の分散(平均二乗誤差)

\begin{array}{rcl} E [{(\hat{θ} - θ)}^{2}] & = & E [{\hat{θ}}^{2} - 2 \hat{θ} θ + θ^{2}] \\ = & E [{\hat{θ}}^{2}] - 2 θ E [\hat{θ}] + θ^{2} E [1] \\ = & E [{\hat{θ}}^{2}] - 2 θ E [\hat{θ}] + θ^{2} + E {[\hat{θ}]}^{2} - E {[\hat{θ}]}^{2} \dots E {[\hat{θ}]}^{2} - E {[\hat{θ}]}^{2} = 0 \\ = & E {[\hat{θ}]}^{2} - 2 θ E [\hat{θ}] + θ^{2} + E [{\hat{θ}}^{2}] - E {[\hat{θ}]}^{2} \\ = & {(E [\hat{θ}] - θ)}^{2} + V [\hat{θ}] \dots V [X] = E [X^{2}] - E {[X]}^{2} \\ = & {(θ - θ)}^{2} + V [\hat{θ}] \dots \hat{θ} は 不 偏 推 定 量 な の で E [\hat{θ}] = θ \\ = & V [\hat{θ}] \end{array}

スコア凾数の期待値と分散

\frac{\partial \log f (x; θ)}{\partial θ} : ス コ ア 凾 数

スコア凾数の期待値

\begin{array}{rcl} E [\frac{\partial \log f (x; θ)}{\partial θ}] & = & \int \frac{\partial \log f (x; θ)}{\partial θ} f (x; θ) d x \\ = & \int \frac{1}{f (x; θ)} \frac{\partial f (x; θ)}{\partial θ} f (x; θ) d x \dots \frac{d}{d x} \log f (x) = \frac{1}{f (x)} \frac{d f (x)}{d x} \\ = & \int \frac{\partial f (x; θ)}{\partial θ} d x \\ = & \frac{\partial}{\partial θ} \int f (x; θ) d x \\ = & \frac{\partial}{\partial θ} 1 \dots \int f (x; θ) d x = 1 \\ = & 0 \dots 定 数 の 微 分 は 0 \end{array}

スコア凾数の分散

I = V [\frac{\partial \log f (x; θ)}{\partial θ}] : フ ィ ッ シ ャ ー 情 報 量

スコア凾数

スコア凾数

$f (x; θ)$ を $θ$ をパラメタとした $x$ の確率密度分布とする．
$f (θ; x)$ を $θ$ の凾数とみた場合を尤度凾数と呼ぶ．
$\log f (θ; x)$ を対数尤度凾数と呼ぶ．
$\frac{\partial \log f (θ; x)}{\partial θ}$ をスコア凾数と呼ぶ．
対数尤度凾数をパラメタ( $θ$ )で微分したスコア凾数が $0$ となるパラメタが，尤度を極値とするパラメタとなる(対数は単調増加凾数)．

登録: 投稿 (Atom)