式展開: 尤度凾数の平均情報量(連続)

\begin{array}{rcl} p (x) & 真 の 確 率 分 布 \\ θ & パ ラ メ ー タ \\ q (x; θ) & θ を パ ラ メ ー タ と し た 推 測 確 率 分 布 モ デ ル (確 率 モ デ ル) (θ を 固 定 し x を 動 か す イ メ ー ジ) \\ Θ_{0} & 真 の 確 率 分 布 p (x) に 対 す る 確 率 モ デ ル q (x; θ) に お け る 最 適 な パ ラ メ ー タ の 集 合 \\ θ_{0} & 真 の 確 率 分 布 p (x) に 対 す る 確 率 モ デ ル q (x; θ) に お け る 最 適 な パ ラ メ ー タ (θ_{0} \in Θ_{0}) \\ q (x; θ) & 尤 度 凾 数 (x に お け る θ の 尤 も ら し さ (式 と し て は 確 率 モ デ ル と 同 じ ． x を 固 定 し θ を 動 か す イ メ ー ジ)) \\ \log q (x; θ) & 対 数 尤 度 凾 数 \\ - \log q (x; θ) & 尤 度 凾 数 の 選 択 情 報 量 (逆 数 の 対 数) \end{array}

\begin{array}{rcl} L (θ) & = & E_{X} [\log (\frac{1}{q (x; θ)})] \dots 尤 度 凾 数 の 平 均 情 報 量 (選 択 情 報 量 の 期 待 値) \\ = & E_{X} [\log (q (x; θ)^{- 1})] \dots \frac{1}{A} = A^{- 1} \\ = & E_{X} [- \log (q (x; θ))] \dots \log A^{B} = B \log A \\ = & - E_{X} [\log q (x; θ)] \dots E [c X] = c E [X] \\ = & - \int q (x; θ_{0}) \log (q (x; θ)) d x \dots θ_{0} : 最 適 な パ ラ メ ー タ \\ = & - \int q (x; θ_{0}) \log (q (x; θ) \frac{q (x; θ_{0})}{q (x; θ_{0})}) d x \\ = & - \int q (x; θ_{0}) \log (q (x; θ_{0}) \frac{q (x; θ)}{q (x; θ_{0})}) d x \\ = & - \int q (x; θ_{0}) {\log (q (x; θ_{0})) + \log (\frac{q (x; θ)}{q (x; θ_{0})})} d x \dots \log A B = \log A + \log B \\ = & - \int q (x; θ_{0}) \log (q (x; θ_{0})) d x - \int q (x; θ_{0}) \log (\frac{q (x; θ)}{q (x; θ_{0})}) d x \dots \int_{X} A B d x = \int_{X} A d x + \int_{X} B d x \\ = & - \int q (x; θ_{0}) \log (q (x; θ_{0})) d x + \int q (x; θ_{0}) \log ({(\frac{q (x; θ)}{q (x; θ_{0})})}^{- 1}) d x \dots - \log x = \log x^{- 1} \\ = & - \int q (x; θ_{0}) \log (q (x; θ_{0})) d x + \int q (x; θ_{0}) \log (\frac{q (x; θ_{0})}{q (x; θ)}) d x \dots {(\frac{A}{B})}^{- 1} = \frac{1}{\frac{A}{B}} = \frac{B}{A} \\ = & - E_{X} [\log q (x; θ_{0})] + E_{X} [\log (\frac{q (x; θ_{0})}{q (x; θ)})] \\ = & L (θ_{0}) + K (θ) \\ \dots L (θ_{0}) = - E_{X} [\log q (x; θ_{0})], K (θ) = E_{X} [\log \frac{q (x; θ_{0})}{q (x; θ)}] \end{array}

\begin{array}{rcl} f (θ_{0}, θ; x) & = & \log \frac{q (x; θ_{0})}{q (x; θ)} \dots 尤 度 の 比 の 対 数 (対 数 の 比 は ， 分 母 分 子 の 対 数 の 差 な の で 尤 度 の 差 で も あ る) \\ K (θ) & = & E_{X} [f (θ_{0}, θ; x)] \dots K L ダ イ バ ー ジ ェ ン ス \\ L (θ) & = & L (θ_{0}) + K (θ) \\ K (θ) & > & 0 \dots K L ダ イ バ ー ジ ェ ン ス の 下 限 よ り \\ K (θ) = 0 & ⟺ & θ \in Θ_{0} \\ \exp (f (θ_{0}, θ; x)) & = & \frac{q (x; θ_{0})}{q (x; θ)} \dots A = \log (B), \exp (A) = B \\ q (x; θ) & = & q (x; θ_{0}) \frac{1}{\exp (f (θ_{0}, θ; x))} \\ = & q (x; θ_{0}) \exp (- f (θ_{0}, θ; x)) \end{array}

式展開