这篇博客详细探讨了一维和高维正态分布的KL散度计算，包括证明思路和公式推导。从一维正态分布的KL散度开始，引入了协方差矩阵和迹的性质，然后扩展到高维正态分布的情况，最后讨论了分量独立的高维正态分布的KL散度。
正文
一维正态分布的KL散度证明思路
记 q ( x ) = N ( x ; μ 1 , σ 1 2 ) , p ( x ) = N ( x ; μ 2 , σ 2 2 ) , ϕ ( x ) = log q ( x ) p ( x ) = c 2 x 2 + c 1 x + c 0 q(x) = \mathcal{N}(x; \mu_1, \sigma_1^2), p(x) = \mathcal{N}(x; \mu_2, \sigma_2^2), \phi(x) = \log \frac{q(x)}{p(x)} = c_2 x^2 + c_1 x + c_0 q(x)=N(x;μ1,σ12),p(x)=N(x;μ2,σ22),ϕ(x)=logp(x)q(x)=c2x2+c1x+c0.
则 K L ( q ∥ p ) = ∫ q ( x ) ϕ ( x ) d x = c 2 ( ∫ q ( x ) x 2 d x ) + c 1 ( ∫ q ( x ) x d x ) + c 0 ( ∫ q ( x ) d x ) \mathrm{KL}(q \| p) = \int q(x) \phi(x) \mathrm{d} x = c_2 \left( \int q(x) x^2 \mathrm{d} x \right) + c_1 \left( \int q(x) x \mathrm{d} x \right) + c_0 \left( \int q(x) \mathrm{d} x \right) KL(q∥p)=∫q(x)ϕ(x)dx=c2(∫q(x)x2dx)+c1(∫q(x)xdx)+c0(∫q(x)dx).
其中 ∫ q ( x ) x 2 d x = E q ( x ) [ x 2 ] = V a r [ x ] + E q ( x ) [ x ] 2 = σ 1 2 + μ 1 2 , ∫ q ( x ) x d x = E q ( x
最低0.47元/天 解锁文章
扫一扫
3314
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
