K-L散度（相对熵）总结

之前总结过KL散度，但不是很具体，现在单独总结一下它
参考：http://blog.csdn.net/acdreamers/article/details/44657745

K-L散度(Kullback-Leible)
↓ ↓ ↓百度上是这么解释的↓ ↓ ↓ 感觉很有道理的样子！

在概率论或信息论中，KL散度( Kullback–Leibler divergence)，又称相对熵（relative entropy)，是描述两个概率分布P和Q差异的一种方法。

它是非对称的，这意味着D(P||Q) ≠ D(Q||P)。特别的，在信息论中，D(P||Q)表示当用概率分布Q来拟合真实分布P时，产生的信息损耗，其中P表示真实分布，Q表示P的拟合分布。

有人将KL散度称为KL距离，但事实上，KL散度并不满足距离的概念，因为：
1）KL散度不是对称的；
2）KL散度不满足三角不等式。

设随机变量X有两个概率分布——p(x)和q(x)，K-L散度定义如下：

其中i代表X的第i个取值，上述表达式是针对X是离散型随机变量而言，如果是连续型的，则求和改成积分，并且p和q代表着概率密度函数。

在一定程度上，熵可以度量两个随机变量的距离。KL散度是两个概率分布P和Q差别的非对称性的度量。
比如，KL散度可以用来度量使用基于Q的编码来编码来自P的样本平均所需的额外的位元数。 典型情况下，P表示数据的真实分布，Q表示数据的理论分布，模型分布，或P的近似分布。那么D(P||Q)表示P对Q的相对上，即Q来拟合P时产生的信息损耗。

相对熵的性质

相对熵（KL散度）有两个主要的性质。如下

（1）尽管KL散度从直观上是个度量或距离函数，但它并不是一个真正的度量或者距离，因为它不具有对称性，即D(P||Q) ≠ D(Q||P)

（2）相对熵的值为非负值，即D(P||Q)≥0

这可以用吉布斯不等式来证明
可以参考http://blog.csdn.net/acdreamers/article/details/44657745

相对熵的应用

相对熵可以衡量两个随机分布之间的距离，当两个随机分布相同时，它们的相对熵为零，当两个随机分布的差别增大时，它们的相对熵也会增大。所以相对熵（KL散度）可以用于比较文本的相似度，先统计出词的频率，然后计算KL散度就行了。