KLダイバージェンスの下限

${\log }_{\mathrm{e}}x\le (x-1)$の証明

$$\begin{array}{rcl}f(x)& =& x-1-{\log }_{\mathrm{e}}x\\ f^{\prime }(x)& =& \frac{x-1}{x}\\ f^{″}(x)& =& \frac{1}{x^2}\\ f^{\prime }=0& \mathrm{は}& x=1\end{array}$$ よって$f^{″}(1)>0$より$f$は$x=1$で極小であり，また $x<1$ で常に$f^{\prime }<0$ 及び $x>1$ で常に$f^{\prime }>0$ なので最小でもある．
$f(1)=0$なので$f\ge 0$である． $$\begin{array}{rcl}x-1-{\log }_{\mathrm{e}}x& \ge & 0\\ -{\log }_{\mathrm{e}}x& \ge & -x+1=-(x-1)\\ {\log }_{\mathrm{e}}x& \le & (x-1)\end{array}$$

${\log }_{\mathrm{e}}x\le (x-1)$の底の変換等の式変形

$$\begin{array}{rcl}{\log }_{\mathrm{e}}x& \le & (x-1)\\ & \le & -(1-x)\\ -{\log }_{\mathrm{e}}x& \ge & (1-x)\\ {\log }_{\mathrm{e}}\frac{1}{x}& \ge & (1-x)\\ \frac{{\log }_2\frac{1}{x}}{{\log }_2\mathrm{e}}& \ge & (1-x)\\ {\log }_2\frac{1}{x}& \ge & ({\log }_2\mathrm{e})(1-x)\end{array}$$

$D_n(P\parallel Q)$の下限

$$\begin{array}{rcl}{\log }_2\frac{1}{x}& \ge & ({\log }_2\mathrm{e})(1-x)\\ {\log }_2\frac{1}{\frac{Q(x^n)}{P(x^n)}}& \ge & ({\log }_2\mathrm{e})\{1-\frac{Q(x^n)}{P(x^n)}\}& x=\frac{Q(x^n)}{P(x^n)}\mathrm{と}\mathrm{し}\mathrm{て}\mathrm{代}\mathrm{入}\\ {\log }_2\frac{P(x^n)}{Q(x^n)}& \ge & ({\log }_2\mathrm{e})\{1-\frac{Q(x^n)}{P(x^n)}\}\\ E_P^n[{\log }_2\frac{P(X^n)}{Q(X^n)}]& \ge & E_P^n[({\log }_2\mathrm{e})\{1-\frac{Q(X^n)}{P(X^n)}\}]& \mathrm{両}\mathrm{辺}\mathrm{期}\mathrm{待}\mathrm{値}\mathrm{を}\mathrm{取}\mathrm{る}\\ D_n(P\parallel Q)& \ge & E_P^n[({\log }_2\mathrm{e})\{1-\frac{Q(X^n)}{P(X^n)}\}]\\ & \ge & ({\log }_2\mathrm{e})E_P^n[1-\frac{Q(X^n)}{P(X^n)}]& E[cX]=cE[X]\\ & \ge & {\displaystyle ({\log }_2\mathrm{e})[\{1-\frac{Q(x^m)}{P(x^m)}\}P(x^m)+\{1-\frac{Q(x_2^n)}{P(x_2^n)}\}P(x_2^n)+\cdots ]}\\ & \ge & {\displaystyle ({\log }_2\mathrm{e})[\{P(x^m)-Q(x^m)\}+\{P(x_2^n)-Q(x_2^n)\}+\cdots ]}\\ & \ge & {\displaystyle ({\log }_2\mathrm{e})[\{P(x^m)+P(x_2^n)+\cdots \}-\{Q(x^m)+Q(x_2^n)+\cdots \}]}\\ & \ge & {\displaystyle ({\log }_2\mathrm{e})\{\sum _{X^n}P(x^n)-\sum _{X^n}Q(x^n)\}}\\ & \ge & {\displaystyle ({\log }_2\mathrm{e})\{1-\sum _{X^n}Q(x^n)\}}& {\displaystyle \sum _{X^n}P(x^n)=1}\\ & \ge & 0& {\displaystyle \sum _{X^n}Q(x^n)=1\mathrm{の}\mathrm{と}\mathrm{き}\mathrm{は}0}\end{array}$$