間違いしかありません.コメントにてご指摘いただければ幸いです(気が付いた点を特に断りなく頻繁に書き直していますのでご注意ください).

KLダイバージェンスの下限(イェンセンの不等式による)

KLダイバージェンスの下限(イェンセンの不等式による)

pi:P(X)xiqi:Q(X)xi(Q:P) DKL(P||Q)=i=1kpilog(piqi)=i=1kpi{log(qipi)}log(AB)=log((BA)1)=log(BA)log(i=1kpiqipi)log(x)()()i=1nϕif(xi)f(i=1nϕixi)(())DKL(P||Q)log(i=1kpiqipi)log(i=1kqi)log(1)qii=1kqi=10

log(x)の凸凾数の判定

d2dx2{log(x)}=d2dx2{log(x)}{cf(x)}=c{f(x)}=ddx{1x}{log(x)}=x1=1x=(1x2)(x1)=x2=1x2=1x2>0x,() 

logex(x1)の関係を用いたKLダイバージェンスの下限

0 件のコメント:

コメントを投稿