尤度凾数の平均情報量(連続)

尤度凾数の平均情報量(連続)

$$ \begin{eqnarray} p(x)&&真の確率分布\\ \theta&&パラメータ\\ q(x;\theta)&&\thetaをパラメータとした推測確率分布モデル(確率モデル)(\thetaを固定しxを動かすイメージ)\\ \Theta_0&&真の確率分布p(x)に対する確率モデルq(x;\theta)における最適なパラメータの集合\\ \theta_0&&真の確率分布p(x)に対する確率モデルq(x;\theta)における最適なパラメータ(\theta_0 \in \Theta_0)\\ q(x;\theta)&&尤度凾数(xにおける\thetaの尤もらしさ(式としては確率モデルと同じ．xを固定し\thetaを動かすイメージ))\\ \log{q(x;\theta)}&&対数尤度凾数\\ -\log{q(x;\theta)}&&尤度凾数の選択情報量(逆数の対数) \end{eqnarray} $$

---

$$ \begin{eqnarray} L(\theta) &=&\mathrm{E}_X\left[\log\left(\frac{1}{q(x;\theta)}\right)\right]\;\cdots\;尤度凾数の平均情報量(選択情報量の期待値)\\ &=&\mathrm{E}_X\left[\log\left(q(x;\theta)^{-1}\right)\right]\;\cdots\;\frac{1}{A}=A^{-1}\\ &=&\mathrm{E}_X\left[-\log\left(q(x;\theta)\right)\right]\;\cdots\;\log A^B = B\log A\\ &=&-\mathrm{E}_X\left[\log{q(x;\theta)}\right]\;\cdots\;\mathrm{E}\left[cX\right]=c\mathrm{E}\left[X\right]\\ &=&-\int q(x;\theta_0) \log{\left(q(x;\theta)\right)} \mathrm{d}x\;\cdots\;\theta_0:最適なパラメータ\\ &=&-\int q(x;\theta_0) \log{\left(q(x;\theta)\frac{q(x;\theta_0)}{q(x;\theta_0)}\right)} \mathrm{d}x\\ &=&-\int q(x;\theta_0) \log{\left(q(x;\theta_0)\frac{q(x;\theta)}{q(x;\theta_0)}\right)} \mathrm{d}x\\ &=&-\int q(x;\theta_0) \left\{ \log{\left( q(x;\theta_0) \right)} +\log{\left(\frac{q(x;\theta)}{q(x;\theta_0)}\right)} \right\} \mathrm{d}x\;\cdots\;\log{AB}=\log{A}+\log{B}\\ &=&-\int q(x;\theta_0) \log{\left( q(x;\theta_0) \right)} \mathrm{d}x -\int q(x;\theta_0) \log{\left(\frac{q(x;\theta)}{q(x;\theta_0)}\right)} \mathrm{d}x \;\cdots\;\int_X{AB}\mathrm{d}x=\int_X{A}\mathrm{d}x+\int_X{B}\mathrm{d}x\\ &=&-\int q(x;\theta_0) \log{ \left( q(x;\theta_0) \right) } \mathrm{d}x +\int q(x;\theta_0) \log{ \left(\left(\frac{q(x;\theta)}{q(x;\theta_0)}\right)^{-1}\right) } \mathrm{d}x\;\cdots\;-\log{x}=\log{x^{-1}}\\ &=&-\int q(x;\theta_0) \log{\left( q(x;\theta_0) \right)} \mathrm{d}x +\int q(x;\theta_0) \log{\left(\frac{q(x;\theta_0)}{q(x;\theta)}\right)} \mathrm{d}x \;\cdots\;\left(\frac{A}{B}\right)^{-1}=\frac{1}{\frac{A}{B}}=\frac{B}{A}\\ &=&-\mathrm{E}_X\left[ \log{q(x;\theta_0)} \right] +\mathrm{E}_X\left[ \log{ \left(\frac{q(x;\theta_0)}{q(x;\theta)}\right) } \right] \\ &=&L(\theta_0)+K(\theta)\\ &&\;\cdots\;L(\theta_0)=-\mathrm{E}_X\left[\log{q(x;\theta_0)}\right] ,\;K(\theta)=\mathrm{E}_X\left[\log{\frac{q(x;\theta_0)}{q(x;\theta)}}\right] \end{eqnarray} $$

---

$$ \begin{eqnarray} f(\theta_0,\theta;x)&=&\log{\frac{q(x;\theta_0)}{q(x;\theta)}}\;\cdots\;尤度の比の対数(対数の比は，分母分子の対数の差なので尤度の差でもある)\\ K(\theta)&=&\mathrm{E}_X\left[f(\theta_0, \theta;x)\right]\;\cdots\;KLダイバージェンス\\ L(\theta)&=&L(\theta_0)+K(\theta)\\ K(\theta)&\gt&0\;\cdots\;\href{https://shikitenkai.blogspot.com/2019/08/kl.html}{KLダイバージェンスの下限}より\\ K(\theta)=0& \Longleftrightarrow & \theta \in \Theta_0\\ \exp\left(f(\theta_0,\theta;x)\right) &=&\frac{ q(x;\theta_0) }{ q(x;\theta) } \;\cdots\;A=\log{(B)},\;\exp{(A)}=B\\ q(x;\theta) &=&q(x;\theta_0) \frac{1}{\exp\left(f(\theta_0,\theta;x)\right)}\\ &=&q(x;\theta_0) \exp\left(-f(\theta_0,\theta;x)\right)\\ \end{eqnarray} $$