尤度凾数の平均情報量(離散/標本からの)
尤度凾数の平均情報量(離散/標本からの)
$$ \begin{eqnarray} p(x)&&真の確率分布\\ \theta&&パラメータ\\ q(x;\theta)&&\thetaをパラメータとした推測確率分布モデル(確率モデル)(\thetaを固定しxを動かすイメージ)\\ \Theta_0&&真の確率分布p(x)に対する確率モデルq(x;\theta)における最適なパラメータの集合\\ \theta_0&&真の確率分布p(x)に対する確率モデルq(x;\theta)における最適なパラメータ(\theta_0 \in \Theta_0)\\ q(x;\theta)&&尤度凾数(xにおける\thetaの尤もらしさ(式としては確率モデルと同じ．xを固定し\thetaを動かすイメージ))\\ \log{q(x;\theta)}&&対数尤度凾数\\ -\log{q(x;\theta)}&&尤度凾数の選択情報量(逆数の対数) \end{eqnarray} $$$$ \begin{eqnarray} L_n(\theta) &=&\mathrm{E}\left[\log\left(\frac{1}{q(X_i;\theta)}\right)\right]\;\cdots\;尤度凾数の平均情報量(選択情報量の期待値)\\ &=&\mathrm{E}\left[\log\left(q(X_i;\theta)^{-1}\right)\right]\;\cdots\;\frac{1}{A}=A^{-1}\\ &=&\mathrm{E}\left[-\log\left(q(X_i;\theta)\right)\right]\;\cdots\;\log A^B = B\log A\\ &=&- \mathrm{E}\left[\log\left(q(X_i;\theta)\right)\right]\;\cdots\;\mathrm{E}\left[cX\right]=c\mathrm{E}\left[X\right]\\ &=&-\frac{1}{n}\displaystyle\sum^n_{i=1}\log\left(q(X_i;\theta)\right)\;\cdots\;n個の標本，離散\\ &=&-\frac{1}{n}\displaystyle\sum^n_{i=1}\log\left(q(X_i;\theta)\frac{q(X_i;\theta_0)}{q(X_i;\theta_0)}\right)\;\cdots\;\theta_0:最適なパラメータ\\ &=&-\frac{1}{n}\displaystyle\sum^n_{i=1}\log\left(q(X_i;\theta_0)\frac{q(X_i;\theta)}{q(X_i;\theta_0)}\right)\\ &=&-\frac{1}{n}\displaystyle\sum^n_{i=1}\left\{\log\left(q(X_i;\theta_0)\right)+\log\left(\frac{q(X_i;\theta)}{q(X_i;\theta_0)}\right)\right\}\;\cdots\;\log{AB}=\log{A}+\log{B}\\ &=&-\frac{1}{n}\left\{ \displaystyle\sum^n_{i=1}\log\left(q(X_i;\theta_0)\right) +\displaystyle\sum^n_{i=1}\log\left(\frac{q(X_i;\theta)}{q(X_i;\theta_0)}\right) \right\} \;\cdots\;\sum(A+B)=\sum A+\sum B\\ &=&-\frac{1}{n}\displaystyle\sum^n_{i=1}\log\left(q(X_i;\theta_0)\right) -\frac{1}{n}\displaystyle\sum^n_{i=1}\log\left(\frac{q(X_i;\theta)}{q(X_i;\theta_0)}\right) \\ &=&-\frac{1}{n}\displaystyle\sum^n_{i=1}\log\left(q(X_i;\theta_0)\right) +\frac{1}{n}\displaystyle\sum^n_{i=1}\log\left(\left(\frac{q(X_i;\theta)}{q(X_i;\theta_0)}\right)^{-1}\right) \;\cdots\;-\log{x}=\log{x^{-1}}\\ &=&-\frac{1}{n}\displaystyle\sum^n_{i=1}\log\left(q(X_i;\theta_0)\right) +\frac{1}{n}\displaystyle\sum^n_{i=1}\log\left(\frac{q(X_i;\theta_0)}{q(X_i;\theta)}\right) \;\cdots\;\left(\frac{A}{B}\right)^{-1}=\frac{1}{\frac{A}{B}}=\frac{B}{A}\\ &=&L_n(\theta_0)+K_n(\theta)\\ &&\;\cdots\;L_n(\theta_0)=-\frac{1}{n}\displaystyle\sum^n_{i=1}\log\left(q(X_i;\theta_0)\right) ,\;K_n=\frac{1}{n}\displaystyle\sum^n_{i=1}\log\left(\frac{q(X_i;\theta_0)}{q(X_i;\theta)}\right)\\ \end{eqnarray} $$
$$ \begin{eqnarray} f(X_i,\theta_0,\theta)&=&\log{\frac{q(X_i;\theta_0)}{q(X_i;\theta)}}\;\cdots\;尤度の比の対数(対数の比は，分母分子の対数の差なので尤度の差でもある)\\ K_n(\theta)&=&\frac{1}{n}\sum_{i=1}^n f(X_i,\theta_0,\theta)\;\cdots\;標本からのKLダイバージェンス\\ nK_n(\theta)&=&\sum_{i=1}^n f(X_i,\theta_0,\theta)\\ L_n(\theta)&=&L_n(\theta_0)+K_n(\theta)\\ K_n(\theta)&\gt&0\;\cdots\;\href{https://shikitenkai.blogspot.com/2019/08/kl.html}{KLダイバージェンスの下限}より\\ K_n(\theta)=0& \Longleftrightarrow & \theta \in \Theta_0\\ \exp\left(f(X_i,\theta_0,\theta)\right)&=&\frac{ q(X_i;\theta_0) }{ q(X_i;\theta) } \;\cdots\;A=\log{(B)},\;\exp{(A)}=B\\ q(X_i;\theta) &=&q(X_i;\theta_0) \frac{1}{\exp\left(f(X_i,\theta_0,\theta)\right)}\\ &=&q(X_i;\theta_0) \exp\left(-f(X_i,\theta_0,\theta)\right)\\ \end{eqnarray} $$
尤度凾数の平均情報量(連続)
尤度凾数の平均情報量(連続)
$$ \begin{eqnarray} p(x)&&真の確率分布\\ \theta&&パラメータ\\ q(x;\theta)&&\thetaをパラメータとした推測確率分布モデル(確率モデル)(\thetaを固定しxを動かすイメージ)\\ \Theta_0&&真の確率分布p(x)に対する確率モデルq(x;\theta)における最適なパラメータの集合\\ \theta_0&&真の確率分布p(x)に対する確率モデルq(x;\theta)における最適なパラメータ(\theta_0 \in \Theta_0)\\ q(x;\theta)&&尤度凾数(xにおける\thetaの尤もらしさ(式としては確率モデルと同じ．xを固定し\thetaを動かすイメージ))\\ \log{q(x;\theta)}&&対数尤度凾数\\ -\log{q(x;\theta)}&&尤度凾数の選択情報量(逆数の対数) \end{eqnarray} $$$$ \begin{eqnarray} L(\theta) &=&\mathrm{E}_X\left[\log\left(\frac{1}{q(x;\theta)}\right)\right]\;\cdots\;尤度凾数の平均情報量(選択情報量の期待値)\\ &=&\mathrm{E}_X\left[\log\left(q(x;\theta)^{-1}\right)\right]\;\cdots\;\frac{1}{A}=A^{-1}\\ &=&\mathrm{E}_X\left[-\log\left(q(x;\theta)\right)\right]\;\cdots\;\log A^B = B\log A\\ &=&-\mathrm{E}_X\left[\log{q(x;\theta)}\right]\;\cdots\;\mathrm{E}\left[cX\right]=c\mathrm{E}\left[X\right]\\ &=&-\int q(x;\theta_0) \log{\left(q(x;\theta)\right)} \mathrm{d}x\;\cdots\;\theta_0:最適なパラメータ\\ &=&-\int q(x;\theta_0) \log{\left(q(x;\theta)\frac{q(x;\theta_0)}{q(x;\theta_0)}\right)} \mathrm{d}x\\ &=&-\int q(x;\theta_0) \log{\left(q(x;\theta_0)\frac{q(x;\theta)}{q(x;\theta_0)}\right)} \mathrm{d}x\\ &=&-\int q(x;\theta_0) \left\{ \log{\left( q(x;\theta_0) \right)} +\log{\left(\frac{q(x;\theta)}{q(x;\theta_0)}\right)} \right\} \mathrm{d}x\;\cdots\;\log{AB}=\log{A}+\log{B}\\ &=&-\int q(x;\theta_0) \log{\left( q(x;\theta_0) \right)} \mathrm{d}x -\int q(x;\theta_0) \log{\left(\frac{q(x;\theta)}{q(x;\theta_0)}\right)} \mathrm{d}x \;\cdots\;\int_X{AB}\mathrm{d}x=\int_X{A}\mathrm{d}x+\int_X{B}\mathrm{d}x\\ &=&-\int q(x;\theta_0) \log{ \left( q(x;\theta_0) \right) } \mathrm{d}x +\int q(x;\theta_0) \log{ \left(\left(\frac{q(x;\theta)}{q(x;\theta_0)}\right)^{-1}\right) } \mathrm{d}x\;\cdots\;-\log{x}=\log{x^{-1}}\\ &=&-\int q(x;\theta_0) \log{\left( q(x;\theta_0) \right)} \mathrm{d}x +\int q(x;\theta_0) \log{\left(\frac{q(x;\theta_0)}{q(x;\theta)}\right)} \mathrm{d}x \;\cdots\;\left(\frac{A}{B}\right)^{-1}=\frac{1}{\frac{A}{B}}=\frac{B}{A}\\ &=&-\mathrm{E}_X\left[ \log{q(x;\theta_0)} \right] +\mathrm{E}_X\left[ \log{ \left(\frac{q(x;\theta_0)}{q(x;\theta)}\right) } \right] \\ &=&L(\theta_0)+K(\theta)\\ &&\;\cdots\;L(\theta_0)=-\mathrm{E}_X\left[\log{q(x;\theta_0)}\right] ,\;K(\theta)=\mathrm{E}_X\left[\log{\frac{q(x;\theta_0)}{q(x;\theta)}}\right] \end{eqnarray} $$
$$ \begin{eqnarray} f(\theta_0,\theta;x)&=&\log{\frac{q(x;\theta_0)}{q(x;\theta)}}\;\cdots\;尤度の比の対数(対数の比は，分母分子の対数の差なので尤度の差でもある)\\ K(\theta)&=&\mathrm{E}_X\left[f(\theta_0, \theta;x)\right]\;\cdots\;KLダイバージェンス\\ L(\theta)&=&L(\theta_0)+K(\theta)\\ K(\theta)&\gt&0\;\cdots\;\href{https://shikitenkai.blogspot.com/2019/08/kl.html}{KLダイバージェンスの下限}より\\ K(\theta)=0& \Longleftrightarrow & \theta \in \Theta_0\\ \exp\left(f(\theta_0,\theta;x)\right) &=&\frac{ q(x;\theta_0) }{ q(x;\theta) } \;\cdots\;A=\log{(B)},\;\exp{(A)}=B\\ q(x;\theta) &=&q(x;\theta_0) \frac{1}{\exp\left(f(\theta_0,\theta;x)\right)}\\ &=&q(x;\theta_0) \exp\left(-f(\theta_0,\theta;x)\right)\\ \end{eqnarray} $$
ベルヌイモデルのエントロピーやKLダイバージェンスを考える
\(P_{Ber}\)の\(H_n(x)\)や\(D_n(x\parallel y)\)を考える
\(n\)回の試行結果である\(x^n\)の1の発生回数を\(m\)とすると\(P_{Ber}\)の\(\theta\)の最尤推定値\(\hat{\theta}\)は\(\frac{m}{n}\)となる． $$\begin{array}{rcl} \displaystyle \hat{\theta} &=&\displaystyle \frac{m}{n}\\ H_n(P)&\overset{\mathrm{def}}{=}& E^{n}_{P}\left[-\log_2{P(X^n)}\right] \\ \displaystyle H(\theta) &\overset{\mathrm{def}}{=}& \displaystyle -\theta\log_{2}{\left(\theta\right)}-\left(1-\theta\right)\log_{2}{\left(1-\theta\right)} \quad\dotso P=P_{Ber}で\thetaを引数として括弧の内側に記載する． \\ \displaystyle H(\hat{\theta}) &=&\displaystyle -\hat{\theta}\log_{2}{\left(\hat{\theta}\right)}-\left(1-\hat{\theta}\right)\log_{2}{\left(1-\hat{\theta}\right)}\\ &=&\displaystyle -\frac{m}{n}\log_{2}{\left(\frac{m}{n}\right)}-\left(1-\frac{m}{n}\right)\log_{2}{\left(1-\frac{m}{n}\right)}\\ &=&\displaystyle \frac{1}{n}\left\{-m\log_{2}{\left(\frac{m}{n}\right)}-\left(n-m\right)\log_{2}{\left(\frac{n-m}{n}\right)}\right\}\\ &=&\displaystyle \frac{1}{n}\left\{ \displaystyle -m\log_{2}{ \left(m\right) } \displaystyle +m\log_{2}{ \left(n\right) } \displaystyle -\left(n-m\right)\log_{2}{ \left(n-m\right) } \displaystyle +\left(n-m\right)\log_{2}{ \left(n\right) } \displaystyle \right\}\\ \displaystyle D(\hat{\theta}\parallel \theta) &=&\displaystyle \hat{\theta}\log_{2}{\left(\frac{\hat{\theta}}{\theta}\right)}+\left(1-\hat{\theta}\right)\log_{2}{\left(\frac{1-\hat{\theta}}{1-\theta}\right)}\\ &=&\displaystyle \frac{m}{n}\log_{2}{\left(\frac{\frac{m}{n}}{\theta}\right)}+\left(1-\frac{m}{n}\right)\log_{2}{\left(\frac{1-\frac{m}{n}}{1-\theta}\right)}\\ &=&\displaystyle \frac{1}{n}\left\{ \displaystyle m\log_{2}{\left(\frac{\frac{m}{n}}{\theta}\right)} \displaystyle +\left(n-m\right)\log_{2}{\left(\frac{1-\frac{m}{n}}{1-\theta}\right)} \displaystyle \right\}\\ &=&\displaystyle \frac{1}{n}\left\{ \displaystyle m\log_{2}{\left(\frac{m}{n}\right)} \displaystyle -m\log_{2}{\left(\theta\right)} \displaystyle +\left(n-m\right)\log_{2}{\left(1-\frac{m}{n}\right)} \displaystyle \displaystyle -\left(n-m\right)\log_{2}{\left(1-\theta\right)} \displaystyle \right\}\\ &=&\displaystyle \frac{1}{n}\left\{ \displaystyle m\log_{2}{\left(m\right)} \displaystyle -m\log_{2}{\left(n\right)} \displaystyle -m\log_{2}{\left(\theta\right)} \displaystyle +\left(n-m\right)\log_{2}{\left(n-m\right)} \displaystyle -\left(n-m\right)\log_{2}{\left(n\right)} \displaystyle -\left(n-m\right)\log_{2}{\left(1-\theta\right)} \displaystyle \right\}\\ \displaystyle H(\hat{\theta})+D(\hat{\theta}\parallel \theta) &=&\displaystyle \frac{1}{n}\left\{ \displaystyle -m\log_{2}{\left(\theta\right)}-\left(n-m\right)\log_{2}{\left(1-\theta\right)} \displaystyle \right\}\\ \displaystyle n\left\{H(\hat{\theta})+D(\hat{\theta}\parallel \theta)\right\} &=&\displaystyle -m\log_{2}{\left(\theta\right)}-\left(n-m\right)\log_2{\left(1-\theta\right)}\\ \end{array}$$ $$\begin{array}{rcl} -\log_2{\left( L(\theta|x^n) \right)} &=&-m\log_2{\left( \theta \right)}-(n-m)\log_2{\left(1-\theta\right)}\\ n\left\{H\left( \hat{\theta} \right)+D(\hat{\theta}\parallel \theta)\right\} &=&-m\log_2{\left( \theta \right)}-\left( n-m \right)\log_2{\left( 1-\theta \right)}\\ -\log_2{\left( L\left(\theta|x^n\right) \right)} &=&n\left\{H\left( \hat{\theta} \right)+D\left( \hat{\theta}\parallel \theta \right)\right\}\\ &=&nH\left( \hat{\theta} \right)+nD\left( \hat{\theta}\parallel \theta \right)\\ -\log_2{\left( L\left(\hat{\theta}|x^n\right) \right)} &=&nH\left( \hat{\theta} \right)+nD\left( \hat{\theta}\parallel \hat{\theta} \right)\quad\dotso\theta=\hat{\theta}\\ &=&nH\left( \hat{\theta} \right)+n0\quad\dotso D\left( \hat{\theta}\parallel \hat{\theta} \right)=0\\ &=&nH\left( \frac{m}{n} \right)\quad\dotso \hat{\theta}=\frac{m}{n}\\ \end{array}$$確率Pで発生しているデータ系列を確率Qに基づく符号化した際のKullback-Leiblerダイバージェンス
例:確率Pで発生しているデータ系列を確率Qに基づく符号化した際のKullback-Leiblerダイバージェンス\(D_n\)
| \(y_1\) | \(y_2\) | \(x^2\) \(=y_1y_2\) |
\(P(x^2)\) | \(Q(x^2)\) | \(Q'(x^2)\) | \(Q''(x^2)\) |
|---|---|---|---|---|---|---|
| 0 | 0 | 00 | \(\frac{1}{8}\) | \(\frac{1}{8}\) | \(\frac{1}{2}\) | \(\frac{1}{4}\) |
| 0 | 1 | 01 | \(\frac{1}{8}\) | \(\frac{1}{8}\) | \(\frac{1}{4}\) | \(\frac{1}{4}\) |
| 1 | 0 | 10 | \(\frac{1}{4}\) | \(\frac{1}{4}\) | \(\frac{1}{8}\) | \(\frac{1}{4}\) |
| 1 | 1 | 11 | \(\frac{1}{2}\) | \(\frac{1}{2}\) | \(\frac{1}{8}\) | \(\frac{1}{4}\) |
\(Q(x^2)\)でのダイバージェンス
$$\begin{array}{rcl} D_n(P\parallel Q)&=&E^{n}_{P}\left[\log_2{\frac{P(X^n)}{Q(X^n)}}\right]\\ &=&\displaystyle \sum_{x^2\in\chi^2} P(x^2)\log_2{\frac{P(x^2)}{Q(x^2)}}\\ &=&\frac{1}{8} \times \log_2{\frac{\frac{1}{8}}{\frac{1}{8}}} +\frac{1}{8} \times \log_2{\frac{\frac{1}{8}}{\frac{1}{8}}} +\frac{1}{4} \times \log_2{\frac{\frac{1}{4}}{\frac{1}{4}}} +\frac{1}{2} \times \log_2{\frac{\frac{1}{2}}{\frac{1}{2}}}\\ &=&\frac{1}{8} \times \log_2{1} +\frac{1}{8} \times \log_2{1} +\frac{1}{4} \times \log_2{1} +\frac{1}{2} \times \log_2{1}\\ &=&\frac{1}{8} \times 0 +\frac{1}{8} \times 0 +\frac{1}{4} \times 0 +\frac{1}{2} \times 0\\ &=&0+0+0+0\\ &=&0 \end{array}$$\(Q'(x^2)\)でのダイバージェンス
$$\begin{array}{rcl} D_n(P\parallel Q')&=&E^{n}_{P}\left[\log_2{\frac{P(X^n)}{Q'(X^n)}}\right]\\ &=&\displaystyle \sum_{x^2\in\chi^2} P(x^2)\log_2{\frac{P(x^2)}{Q'(x^2)}}\\ &=&\frac{1}{8} \times \log_2{\frac{\frac{1}{8}}{\frac{1}{2}}} +\frac{1}{8} \times \log_2{\frac{\frac{1}{8}}{\frac{1}{4}}} +\frac{1}{4} \times \log_2{\frac{\frac{1}{4}}{\frac{1}{8}}} +\frac{1}{2} \times \log_2{\frac{\frac{1}{2}}{\frac{1}{8}}} \\ &=&\frac{1}{8} \times \log_2{\frac{1}{4}} +\frac{1}{8} \times \log_2{\frac{1}{2}} +\frac{1}{4} \times \log_2{2} +\frac{1}{2} \times \log_2{4} \\ &=&\frac{1}{8} \times -2 +\frac{1}{8} \times -1 +\frac{1}{4} \times 1 +\frac{1}{2} \times 2 \\ &=&-\frac{1}{4}-\frac{1}{8}+\frac{1}{4}+1\\ &=&\frac{7}{8}=0.875 \end{array}$$\(Q''(x^2)\)でのダイバージェンス
$$\begin{array}{rcl} D_n(P\parallel Q'')&=&E^{n}_{P}\left[\log_2{\frac{P(X^n)}{Q''(X^n)}}\right]\\ &=&\displaystyle \sum_{x^2\in\chi^2} P(x^2)\log_2{\frac{P(x^2)}{Q''(x^2)}}\\ &=&\frac{1}{8} \times \log_2{\frac{\frac{1}{8}}{\frac{1}{4}}} +\frac{1}{8} \times \log_2{\frac{\frac{1}{8}}{\frac{1}{4}}} +\frac{1}{4} \times \log_2{\frac{\frac{1}{4}}{\frac{1}{4}}} +\frac{1}{2} \times \log_2{\frac{\frac{1}{2}}{\frac{1}{4}}} \\ &=&\frac{1}{8} \times \log_2{\frac{1}{2}} +\frac{1}{8} \times \log_2{\frac{1}{2}} +\frac{1}{4} \times \log_2{1} +\frac{1}{2} \times \log_2{2} \\ &=&\frac{1}{8} \times -1 +\frac{1}{8} \times -1 +\frac{1}{4} \times 0 +\frac{1}{2} \times 1 \\ &=&-\frac{1}{8}-\frac{1}{8}+0+\frac{1}{2}\\ &=&\frac{1}{4}=0.25 \end{array}$$KLダイバージェンスの下限
\(\log_{\mathrm{e}}{x}\leq(x-1)\)の証明
$$\begin{array}{rcl} f(x)&=&x-1-\log_{\mathrm{e}}{x}\\ f'(x)&=&\frac{x-1}{x}\\ f''(x)&=&\frac{1}{x^2}\\ f'=0&は&x=1\\ \end{array}$$ よって\(f''(1)\gt0\)より\(f\)は\(x=1\)で極小であり，また \(x\lt1\) で常に\(f'\lt0\) 及び \(x\gt1\) で常に\(f'\gt0\) なので最小でもある．\(f(1)=0\)なので\(f\geq0\)である． $$\begin{array}{rcl} x-1-\log_{\mathrm{e}}{x}&\geq&0\\ -\log_{\mathrm{e}}{x}&\geq&-x+1=-(x-1)\\ \log_{\mathrm{e}}{x}&\leq&(x-1)\\ \end{array}$$
\(\log_{\mathrm{e}}{x}\leq(x-1)\)の底の変換等の式変形
$$\begin{array}{rcl} \log_{\mathrm{e}}{x}&\leq&(x-1)\\ &\leq&-(1-x)\\ -\log_{\mathrm{e}}{x}&\geq&(1-x)\\ \log_{\mathrm{e}}{\frac{1}{x}}&\geq&(1-x)\\ \frac{\log_2{\frac{1}{x}}}{\log_2{\mathrm{e}}}&\geq&(1-x)\\ \log_2{\frac{1}{x}}&\geq&(\log_2{\mathrm{e}})(1-x)\\ \end{array}$$\(D_n(P\parallel Q)\)の下限
$$\begin{array}{rcl} \log_2{\frac{1}{x}}&\geq&(\log_2{\mathrm{e}})(1-x)\\ \log_2{\frac{1}{\frac{Q(x^n)}{P(x^n)}}}&\geq&(\log_2{\mathrm{e}})\left\{1-\frac{Q(x^n)}{P(x^n)}\right\}&x=\frac{Q(x^n)}{P(x^n)}として代入\\ \log_2{\frac{P(x^n)}{Q(x^n)}}&\geq&(\log_2{\mathrm{e}})\left\{1-\frac{Q(x^n)}{P(x^n)}\right\}\\ E^{n}_{P}\left[\log_2{\frac{P(X^n)}{Q(X^n)}}\right]&\geq&E^{n}_{P}\left[(\log_2{\mathrm{e}})\left\{1-\frac{Q(X^n)}{P(X^n)}\right\}\right]&両辺期待値を取る\\ D_n(P\parallel Q)&\geq&E^{n}_{P}\left[(\log_2{\mathrm{e}})\left\{1-\frac{Q(X^n)}{P(X^n)}\right\}\right]\\ &\geq&(\log_2{\mathrm{e}})E^{n}_{P}\left[1-\frac{Q(X^n)}{P(X^n)}\right]&E[cX]=cE[X]\\ &\geq&\displaystyle (\log_2{\mathrm{e}})\left[\left\{1-\frac{Q(x^m)}{P(x^m)}\right\}P(x^m)+\left\{1-\frac{Q(x^n_2)}{P(x^n_2)}\right\}P(x^n_2)+\dotsb\right]\\ &\geq&\displaystyle (\log_2{\mathrm{e}})\left[\left\{P(x^m)-Q(x^m)\right\}+\left\{P(x^n_2)-Q(x^n_2)\right\}+\dotsb\right]\\ &\geq&\displaystyle (\log_2{\mathrm{e}})\left[\left\{P(x^m)+P(x^n_2)+\dotsb\right\}-\left\{Q(x^m)+Q(x^n_2)+\dotsb\right\}\right]\\ &\geq&\displaystyle (\log_2{\mathrm{e}})\left\{\sum_{X^n}P(x^n)-\sum_{X^n}Q(x^n)\right\}\\ &\geq&\displaystyle (\log_2{\mathrm{e}})\left\{1-\sum_{X^n}Q(x^n)\right\}&\displaystyle \sum_{X^n}P(x^n)=1\\ &\geq&0&\displaystyle \sum_{X^n}Q(x^n)=1のときは0\\ \end{array}$$平均符号長の下限(エントロピー, Kullback-Leiblerダイバージェンス)
符号長(\(l(x^n)\))がShannon情報量(\(-\log_2{P(x^n)}\))と等しい場合(確率\(P(x^n)\)に基づく符号化(P-based coding))
$$\begin{array}{rcl} \mathcal{l}(x^n) &=& -\log_2{P(x^n)} \\ -\mathcal{l}(x^n) &=&\log_2{P(x^n)}\\ 2^{-\mathcal{l}(x^n)} &=&2^{\log_2{P(x^n)}}\\ &=&P(x^n)\\ P(x^n) &=&2^{-\mathcal{l}(x^n)}\\ \displaystyle \sum_{x^n \in \chi^n}P(x^n) &\leq& 1&\quad\dotso P(x^n)は確率質量凾数なので総和は1,\;P(x^n)を劣確率凾数とするケースを考える場合は総和は1以下\\ \displaystyle \sum_{x^n \in \chi^n}2^{-\mathcal{l}(x^n)}&\leq&1&\quad\dotso 2^{-\mathcal{l}(x^n)}=P(x^n)なのでやはり総和は1,\;P(x^n)を劣確率凾数とするケースを考える場合は総和は1以下\\ \end{array}$$ 劣確率凾数は \(P(x)\geq0\) の条件は確率(質量)凾数と同じで，\(\sum P(x) \leq 1\)となる凾数．符号長の期待値とその下限
$$\begin{array}{rcl} E^{n}_{P}\left[\mathcal{l}(X^n)\right]&\geq&H_n(P)&\quad\dotso 符号長の期待値・平均符号長の下限\\ H_n(P)&\overset{\mathrm{def}}{=}& E^{n}_{P}\left[-\log_2{P(X^n)}\right]&\quad\dotso 確率P(x^n)に基づく符号化の長さであることが条件\,\mathcal{l}(X^n)=-\log_2{P(X^n)}\\ \end{array}$$ \(H_n(P)\)をエントロピー(entropy)と呼ぶ．確率Pで発生しているデータ系列を確率Qに基づく符号化した場合の平均符号長
$$\begin{array}{rcl} \displaystyle \log_2{P(x^n)}-\log_2{P(x^n)} &=&\displaystyle \log_2{Q(x^n)}-\log_2{Q(x^n)}\\ \displaystyle -\log_2{Q(x^n)}&=&-\log_2{P(x^n)}+\log_2{P(x^n)}-\log_2{Q(x^n)}\\ &=&\displaystyle -\log_2{P(x^n)}+\log_2{\frac{P(x^n)}{Q(x^n)}}\\ \displaystyle E^{n}_{P}\left[-\log_2{Q(X^n)}\right] &=&\displaystyle E^{n}_{P}\left[-\log_2{P(X^n)}\right]+E^{n}_{P}\left[\log_2{\frac{P(X^n)}{Q(X^n)}}\right]\\ &=&\displaystyle H_n(P)+D_n(P\parallel Q)\\ D_n(P\parallel Q)&\overset{\mathrm{def}}{=}&E^{n}_{P}\left[\log_2{\frac{P(X^n)}{Q(X^n)}}\right]\\ \end{array}$$ \(D_n(P\parallel Q)\)をKullback-Leiblerダイバージェンス(Kullback-Leibler divergence)と呼ぶ．
登録:
投稿 (Atom)