ベルヌイモデルとベルヌイモデルの尤度に対する情報量

ベルヌイモデル \(P_{Ber}\)

$$\begin{array}{rcl} P(X|\theta) = \begin{cases} \displaystyle \theta & \,: \left(X=1\right)\\ \displaystyle 1-\theta & \,: \left(X=0\right)\\ \end{cases}\\ \displaystyle P_{Ber}=\left\{P(X|\theta)\,:(0\leq\theta\leq1)\right\}\\ \end{array}$$

\(x^n\)を\(P_{Ber}\)で最短長の符号化をすることを考える

データ列\(x^n\)が与えられた時の生成確率\(P(x^n|\theta)\)を\(\theta\)の凾数とみなすと $$\begin{array}{rcl} \displaystyle L(\theta|x^n)&=&P(x^n|\theta) \end{array}$$ としてこれを尤度(likelihood)と呼ぶ．

ベルヌイモデルの尤度に対する情報量

\(x^n\)の1の発生回数を\(m\)とすると0の発生回数は\(n-m\)となるので最尤推定値(maximum likelihood estimator)は $$\begin{array}{rcl} \displaystyle L(\theta|x^n)&=&\theta^{m}(1-\theta)^{(n-m)}\\ \end{array}$$ 情報量(=符号長)を考えると $$\begin{array}{rcl} \displaystyle -\log_{2}{\left(L(\theta|x^n)\right)}&=&-\log_{2}{\left(\theta^{m}(1-\theta)^{(n-m)}\right)}\\ &=&\displaystyle -\log_{2}{\left(\theta^{m}\right)}-\log_{2}{\left((1-\theta)^{(n-m)}\right)}\\ &=&\displaystyle -m\log_{2}{\left(\theta\right)}-(n-m)\log_{2}{\left(1-\theta\right)}\\ \end{array}$$