事後分布

最適パラメータにおける条件付き分布

$$ \begin{eqnarray} Z_n(\beta) &=& \href{https://shikitenkai.blogspot.com/2020/05/blog-post_36.html}{Z_n^{(0)}(\beta)\exp(-n\beta L_n(\theta_0))}\\ &=& \href{https://shikitenkai.blogspot.com/2020/05/2.html}{Z_n^{(0)}(\beta)\prod_{i=1}^n q(X_i;\theta_0)^\beta}\\ \prod_{i=1}^n q(X_i;\theta_0)^\beta &=&\exp(-n\beta L_n(\theta_0))\;\cdots\;最適パラメータにおける条件付き分布\\ \end{eqnarray} $$

---

$$ \begin{eqnarray} q(\theta;X^n) &=&\frac{1}{Z_n(\beta)} \pi(\theta) \prod_{i=1}^n q(X_i;\theta)^\beta\\ &=&\frac{1}{Z_n^{(0)}(\beta)\exp(-n\beta L_n(\theta_0))} \pi(\theta) \prod_{i=1}^n q(X_i;\theta)^\beta \;\cdots\;\href{https://shikitenkai.blogspot.com/2020/05/blog-post_36.html}{Z_n(\beta)=Z_n^{(0)}(\beta)\exp(-n\beta L_n(\theta_0))}\\ &=&\frac{1}{Z_n^{(0)}(\beta)} \frac{ \exp{\left(-n\beta L_n(\theta)\right)} } { \exp{\left(-n\beta L_n(\theta_0)\right)} } \pi(\theta) \;\cdots\;\prod_{i=1}^nq(X_i;\theta)^\beta=\exp(-n\beta L_n(\theta))\\ &=&\frac{1}{Z_n^{(0)}(\beta)} \frac{ \exp{\left(-n\beta (L_n(\theta_0)+K_n(\theta))\right)} } { \exp{\left(-n\beta L_n(\theta_0)\right)} } \pi(\theta) \;\cdots\;\href{https://shikitenkai.blogspot.com/2020/05/blog-post_1.html}{L_n(\theta)=L_n(\theta_0)+K_n(\theta)}\\ &=&\frac{1}{Z_n^{(0)}(\beta)} \frac{ \exp{\left(-n\beta L_n(\theta_0)\right)}\exp{\left(-n\beta K_n(\theta)\right)} } { \exp{\left(-n\beta L_n(\theta_0)\right)} } \pi(\theta) \;\cdots\;\exp{(A+B)}=\exp{(A)}\exp{(B)}\\ &=&\frac{1}{Z_n^{(0)}(\beta)}\exp{\left(-n\beta K_n(\theta)\right)}\pi\left(\theta\right)\\ \end{eqnarray} $$

事後分布/分配凾数

分配凾数

$$ \begin{eqnarray} x^n&=&(x_1, x_2, \dots,x_n)&\;\dots\;&n個の標本\\ p(x)&&真の確率分布\\ p(x^n)&=&\displaystyle\prod^n_{i=1}p(x_i)\\ &=&p(x_1)p(x_2) \dots p(x_n)\\ X^n&=&(X_1, X_2,\dots,X_n)&\;\dots\;&x^nを実現値と考えるn個の確率変数\\ &&&&(x^nをp(x)上の分布から得られたものと考える)\\ \end{eqnarray} $$

---

$$ \begin{eqnarray} q(x;\theta)&&パラメータ\thetaを用いた推定確率分布(確率モデル)\\ \pi(\theta)&&事前分布\\ \beta&&逆温度 0\lt\beta\lt\infty\\ q(\theta;X^n)&=&\frac{1}{Z_n(\beta)}\pi(\theta)\displaystyle\prod_{i=1}^{n}q(X_i;\theta)^{\beta}\;\dots\;逆温度\betaにおけるパラメータ\thetaの事後分布．\\ Z_n(\beta)&=&\int_\Theta \pi(\theta) \displaystyle\prod_{i=1}^n q(X_i;\theta)^{\beta}\mathrm{d}\theta\;\dots\;分配凾数(\beta=1の時，周辺尤度)\\ &&パラメータ\thetaの逆温度\betaにおける事後分布の総和を1とするための定数\\ \end{eqnarray} $$