KLダイバージェンスの下限(イェンセンの不等式による)
$$
\begin{eqnarray}
p_i&:&真の確率分布P(X)の事象x_iの確率
\\q_i&:&任意の確率分布Q(X)の事象x_iの確率(Q:予測や符号化など「真の確率分布Pに対するモデル」が示す確率分布)
\end{eqnarray}
$$
$$
\begin{eqnarray}
D_{KL}(P||Q)&=&\sum_{i=1}^{k} p_i\log{\left(\frac{p_i}{q_i}\right)}
\\&=&\sum_{i=1}^{k} p_i\left\{-\log{\left(\frac{q_i}{p_i}\right)}\right\}
\;\cdots\;\log{\left(\frac{A}{B}\right)}=\log{\left(\left(\frac{B}{A}\right)^{-1}\right)}=-\log{\left(\frac{B}{A}\right)}
\\&\geq&-\log{\left(\sum_{i=1}^{k} p_i\frac{q_i}{p_i}\right)}
\\&&\;\cdots\;-\log{\left(x\right)}は凸凾数(下に凸の凾数)(判定については後述)
\\&&\;\cdots\;\href{https://shikitenkai.blogspot.com/2020/08/blog-post.html}{\sum_{i=1}^{n}\phi_if(x_i)\geq f\left( \sum_{i=1}^{n}\phi_i x_i \right)\;(イェンセンの不等式(下に凸の凾数))}
\\D_{KL}(P||Q)
&\geq&-\log{\left(\sum_{i=1}^{k} p_i\frac{q_i}{p_i}\right)}
\\&\geq&-\log{\left(\sum_{i=1}^{k} q_i\right)}
\\&\geq&-\log{\left(1\right)}\;\cdots\;q_iは確率なので\sum_{i=1}^{k} q_i=1
\\&\geq&0
\end{eqnarray}
$$
\(-\log{\left(x\right)}\)の凸凾数の判定
$$
\begin{eqnarray}
\frac{\mathrm{d}^2}{\mathrm{d}x^2} \left\{ -\log{\left(x\right)} \right\}
&=&-\frac{\mathrm{d}^2}{\mathrm{d}x^2} \left\{ \log{\left(x\right)} \right\}
\;\cdots\; \left\{cf(x)\right\}^\prime=c\left\{f(x)\right\}^\prime
\\&=&-\frac{\mathrm{d}}{\mathrm{d}x} \left\{ \frac{1}{x} \right\}
\;\cdots\;\left\{\log{\left(x\right)}\right\}^\prime=x^{-1}=\frac{1}{x}
\\&=&-\left(-\frac{1}{x^2}\right)
\;\cdots\;\left(x^{-1}\right)^\prime=-x^{-2}=-\frac{1}{x^2}
\\&=&\frac{1}{x^2}
\gt0\;\cdots\;xが実数の範囲では, 二階微分が常に正なので凸凾数(下に凸の凾数)．
\end{eqnarray}
$$
0 件のコメント:
コメントを投稿