式展開
間違いしかありません.コメントにてご指摘いただければ幸いです(気が付いた点を特に断りなく頻繁に書き直していますのでご注意ください).
KLダイバージェンスの下限(イェンセンの不等式による)
KLダイバージェンスの下限(イェンセンの不等式による)
真
の
確
率
分
布
の
事
象
の
確
率
任
意
の
確
率
分
布
の
事
象
の
確
率
予
測
や
符
号
化
な
ど
「
真
の
確
率
分
布
に
対
す
る
モ
デ
ル
」
が
示
す
確
率
分
布
p
i
:
真
の
確
率
分
布
P
(
X
)
の
事
象
x
i
の
確
率
q
i
:
任
意
の
確
率
分
布
Q
(
X
)
の
事
象
x
i
の
確
率
(
Q
:
予
測
や
符
号
化
な
ど
「
真
の
確
率
分
布
P
に
対
す
る
モ
デ
ル
」
が
示
す
確
率
分
布
)
は
凸
凾
数
下
に
凸
の
凾
数
判
定
に
つ
い
て
は
後
述
イ
ェ
ン
セ
ン
の
不
等
式
下
に
凸
の
凾
数
は
確
率
な
の
で
D
K
L
(
P
|
|
Q
)
=
∑
i
=
1
k
p
i
log
(
p
i
q
i
)
=
∑
i
=
1
k
p
i
{
−
log
(
q
i
p
i
)
}
⋯
log
(
A
B
)
=
log
(
(
B
A
)
−
1
)
=
−
log
(
B
A
)
≥
−
log
(
∑
i
=
1
k
p
i
q
i
p
i
)
⋯
−
log
(
x
)
は
凸
凾
数
(
下
に
凸
の
凾
数
)
(
判
定
に
つ
い
て
は
後
述
)
⋯
∑
i
=
1
n
ϕ
i
f
(
x
i
)
≥
f
(
∑
i
=
1
n
ϕ
i
x
i
)
(
イ
ェ
ン
セ
ン
の
不
等
式
(
下
に
凸
の
凾
数
)
)
D
K
L
(
P
|
|
Q
)
≥
−
log
(
∑
i
=
1
k
p
i
q
i
p
i
)
≥
−
log
(
∑
i
=
1
k
q
i
)
≥
−
log
(
1
)
⋯
q
i
は
確
率
な
の
で
∑
i
=
1
k
q
i
=
1
≥
0
−
log
(
x
)
の凸凾数の判定
が
実
数
の
範
囲
で
は
二
階
微
分
が
常
に
正
な
の
で
凸
凾
数
下
に
凸
の
凾
数
.
d
2
d
x
2
{
−
log
(
x
)
}
=
−
d
2
d
x
2
{
log
(
x
)
}
⋯
{
c
f
(
x
)
}
′
=
c
{
f
(
x
)
}
′
=
−
d
d
x
{
1
x
}
⋯
{
log
(
x
)
}
′
=
x
−
1
=
1
x
=
−
(
−
1
x
2
)
⋯
(
x
−
1
)
′
=
−
x
−
2
=
−
1
x
2
=
1
x
2
>
0
⋯
x
が
実
数
の
範
囲
で
は
,
二
階
微
分
が
常
に
正
な
の
で
凸
凾
数
(
下
に
凸
の
凾
数
)
.
log
e
x
≤
(
x
−
1
)
の関係を用いた
KLダイバージェンスの下限
0 件のコメント:
コメントを投稿
次の投稿
前の投稿
ホーム
登録:
コメントの投稿 (Atom)
0 件のコメント:
コメントを投稿