式展開: 尤度凾数の平均情報量(離散/標本からの)

尤度凾数の平均情報量(離散/標本からの)

\begin{array}{rcl} p (x) & 真 の 確 率 分 布 \\ θ & パ ラ メ ー タ \\ q (x; θ) & θ を パ ラ メ ー タ と し た 推 測 確 率 分 布 モ デ ル (確 率 モ デ ル) (θ を 固 定 し x を 動 か す イ メ ー ジ) \\ Θ_{0} & 真 の 確 率 分 布 p (x) に 対 す る 確 率 モ デ ル q (x; θ) に お け る 最 適 な パ ラ メ ー タ の 集 合 \\ θ_{0} & 真 の 確 率 分 布 p (x) に 対 す る 確 率 モ デ ル q (x; θ) に お け る 最 適 な パ ラ メ ー タ (θ_{0} \in Θ_{0}) \\ q (x; θ) & 尤 度 凾 数 (x に お け る θ の 尤 も ら し さ (式 と し て は 確 率 モ デ ル と 同 じ ． x を 固 定 し θ を 動 か す イ メ ー ジ)) \\ \log q (x; θ) & 対 数 尤 度 凾 数 \\ - \log q (x; θ) & 尤 度 凾 数 の 選 択 情 報 量 (逆 数 の 対 数) \end{array}

\begin{array}{rcl} L_{n} (θ) & = & E [\log (\frac{1}{q (X_{i}; θ)})] \dots 尤 度 凾 数 の 平 均 情 報 量 (選 択 情 報 量 の 期 待 値) \\ = & E [\log (q (X_{i}; θ)^{- 1})] \dots \frac{1}{A} = A^{- 1} \\ = & E [- \log (q (X_{i}; θ))] \dots \log A^{B} = B \log A \\ = & - E [\log (q (X_{i}; θ))] \dots E [c X] = c E [X] \\ = & - \frac{1}{n} \sum_{i = 1}^{n} \log (q (X_{i}; θ)) \dots n 個 の 標 本 ， 離 散 \\ = & - \frac{1}{n} \sum_{i = 1}^{n} \log (q (X_{i}; θ) \frac{q (X_{i}; θ_{0})}{q (X_{i}; θ_{0})}) \dots θ_{0} : 最 適 な パ ラ メ ー タ \\ = & - \frac{1}{n} \sum_{i = 1}^{n} \log (q (X_{i}; θ_{0}) \frac{q (X_{i}; θ)}{q (X_{i}; θ_{0})}) \\ = & - \frac{1}{n} \sum_{i = 1}^{n} {\log (q (X_{i}; θ_{0})) + \log (\frac{q (X_{i}; θ)}{q (X_{i}; θ_{0})})} \dots \log A B = \log A + \log B \\ = & - \frac{1}{n} {\sum_{i = 1}^{n} \log (q (X_{i}; θ_{0})) + \sum_{i = 1}^{n} \log (\frac{q (X_{i}; θ)}{q (X_{i}; θ_{0})})} \dots \sum (A + B) = \sum A + \sum B \\ = & - \frac{1}{n} \sum_{i = 1}^{n} \log (q (X_{i}; θ_{0})) - \frac{1}{n} \sum_{i = 1}^{n} \log (\frac{q (X_{i}; θ)}{q (X_{i}; θ_{0})}) \\ = & - \frac{1}{n} \sum_{i = 1}^{n} \log (q (X_{i}; θ_{0})) + \frac{1}{n} \sum_{i = 1}^{n} \log ({(\frac{q (X_{i}; θ)}{q (X_{i}; θ_{0})})}^{- 1}) \dots - \log x = \log x^{- 1} \\ = & - \frac{1}{n} \sum_{i = 1}^{n} \log (q (X_{i}; θ_{0})) + \frac{1}{n} \sum_{i = 1}^{n} \log (\frac{q (X_{i}; θ_{0})}{q (X_{i}; θ)}) \dots {(\frac{A}{B})}^{- 1} = \frac{1}{\frac{A}{B}} = \frac{B}{A} \\ = & L_{n} (θ_{0}) + K_{n} (θ) \\ \dots L_{n} (θ_{0}) = - \frac{1}{n} \sum_{i = 1}^{n} \log (q (X_{i}; θ_{0})), K_{n} = \frac{1}{n} \sum_{i = 1}^{n} \log (\frac{q (X_{i}; θ_{0})}{q (X_{i}; θ)}) \end{array}

\begin{array}{rcl} f (X_{i}, θ_{0}, θ) & = & \log \frac{q (X_{i}; θ_{0})}{q (X_{i}; θ)} \dots 尤 度 の 比 の 対 数 (対 数 の 比 は ， 分 母 分 子 の 対 数 の 差 な の で 尤 度 の 差 で も あ る) \\ K_{n} (θ) & = & \frac{1}{n} \sum_{i = 1}^{n} f (X_{i}, θ_{0}, θ) \dots 標 本 か ら の K L ダ イ バ ー ジ ェ ン ス \\ n K_{n} (θ) & = & \sum_{i = 1}^{n} f (X_{i}, θ_{0}, θ) \\ L_{n} (θ) & = & L_{n} (θ_{0}) + K_{n} (θ) \\ K_{n} (θ) & > & 0 \dots K L ダ イ バ ー ジ ェ ン ス の 下 限 よ り \\ K_{n} (θ) = 0 & ⟺ & θ \in Θ_{0} \\ \exp (f (X_{i}, θ_{0}, θ)) & = & \frac{q (X_{i}; θ_{0})}{q (X_{i}; θ)} \dots A = \log (B), \exp (A) = B \\ q (X_{i}; θ) & = & q (X_{i}; θ_{0}) \frac{1}{\exp (f (X_{i}, θ_{0}, θ))} \\ = & q (X_{i}; θ_{0}) \exp (- f (X_{i}, θ_{0}, θ)) \end{array}

式展開

尤度凾数の平均情報量(離散/標本からの)

尤度凾数の平均情報量(離散/標本からの)

0 件のコメント:

コメントを投稿