熵，联合熵，条件熵，相对熵，互信息的定义

最新推荐文章于 2024-04-03 05:59:24 发布

karmalk

最新推荐文章于 2024-04-03 05:59:24 发布

阅读量2.8k

点赞数 6

分类专栏： python机器学习之路文章标签：熵互信息机器学习信息论

本文链接：https://blog.csdn.net/karmacode/article/details/88879020

版权

本文介绍了信息论中的基本概念，包括熵、联合熵、条件熵、相对熵（互熵）和互信息。熵表示随机变量的不确定性，联合熵描述两个随机变量的共同不确定性，条件熵是在已知一个随机变量情况下另一个随机变量的不确定性。相对熵（又称Kullback-Leibler散度）衡量两个概率分布的差异，而互信息则表示两个随机变量之间的信息关联程度。通过数学推导，展示了这些概念之间的关系，如H(Y|X) = H(Y) - I(X,Y)和I(X,Y) = H(X) + H(Y) - H(X,Y)。" 118640537,11163301,C语言英文打字练习程序分析,"['C语言', '小程序', '算法']

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

预备基础概念

X : 随机变量
x : 随机变量X的具体取值
P(X) : 随机变量X的概率分布
P(X,Y) : 随机变量X,Y的联合概率分布
P(Y|X) : 已知随机变量X的情况下，随机变量Y的条件概率分布
P(X=x) => p(x) : 随机变量取某个值的概率
P(X=x,Y=y) => p(x,y) : 联合概率
P(X=x|Y=y) =>p(y|x) : 条件概率、
且有 p(x,y) = p(x)*p(y|x)

信息量

事件的不确定性
事件发生的概率越大，信息量越小，事件发生的概率越小，信息量越小；
正好符合-logP 函数

熵

简单来讲，就是指所有信息量的期望
如果一个随机变量X的可能取值为X = { $x_{1},x_{2},... ,x_{k}$ }
其概率分布为P(X= $x_{i}$ ) = $p_{i}$ (i = 1,2,…,n)
则随机变量的熵定义为
$-\sum_{x}p(x)logp(x)$
等价于
$\sum_{x}p(x)log\frac{1}{p(x)}$