【机器学习】最大似然估计与最大后验估计

最新推荐文章于 2024-12-01 20:38:22 发布

置顶

菜小白—NLP

最新推荐文章于 2024-12-01 20:38:22 发布

阅读量600

点赞数 4

分类专栏： ML

本文链接：https://blog.csdn.net/ACM_hades/article/details/91988747

版权

本文深入探讨了概率论中的最大似然估计（MLE）与最大后验估计（MAP）概念。首先解释了概率公式，如联合概率、边缘概率、条件概率和贝叶斯公式。接着，介绍了统计学的频率学派与贝叶斯学派，强调了先验概率的重要性。在MLE部分，通过抛硬币实验展示了如何寻找使样本出现概率最大的参数估计。在MAP部分，引入了先验分布的概念，说明了考虑参数本身分布对于估计的影响。通过实例展示了MAP相比于MLE如何结合先验知识给出更合理的估计结果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

                    
                    一、一些概率公式 
联合概率：假设有随机变量 A A A和 B B B，此时 P ( A = a , B = b ) P(A=a,B=b) P(A=a,B=b)用于表示 A = a A=a A=a且 B = b B=b B=b同时发生的概率。这类包含多个条件且所有条件同时成立的概率称为联合概率。
边缘概率： P ( A = a ) P(A=a) P(A=a)或 P ( B = b ) P(B=b) P(B=b)这类仅与单个随机变量有关的概率称为边缘概率: P ( A = a ) = ∑ b P ( A = a , B = b ) P(A=a)=∑_bP(A=a,B=b) P(A=a)=b∑​P(A=a,B=b) P ( B = b ) = ∑ a P ( A = a , B = b ) P(B=b)=∑_aP(A=a,B=b) P(B=b)=a∑​P(A=a,B=b)
条件概率:条件概率表示在条件 B = b B=b B=b成立的情况下， A = a A=a A=a的概率，记作 P ( A = a ∣ B = b ) P(A=a|B=b) P(A=a∣B=b)  P ( A │ B ) = P ( A , B ) / P ( B ) P(A│B)=P(A,B)/P(B) P(A│B)=P(A,B)/P(B)即： P ( A , B ) = P ( B ) ∗ P ( A ∣ B ) = P ( A ) ∗ P ( B ∣ A ) P(A,B)=P(B)*P(A|B)=P(A)*P(B|A) P(A,B)=P(B)∗P(A∣B)=P(A)∗P(B∣A)
全概率公式：如果事件 A 1 , A 2 , A 3 , … , A n A_1,A_2,A_3,…,A_n A1​,A2​,A3​,…,An​ 构成一个完备事件组，即它们两两互不相容(互斥),其和为全集；并且$ P(A_i)$ 大于0，则对任意事件 B B B有: P ( B ) = P ( B ∣ A 1 ) P ( A 1 ) + P ( B ∣ A 2 ) P ( A 2 ) + ⋯ + P ( B ∣ A n ) P ( A n ) = ∑ i n P ( B ∣ A i ) P ( A i ) P(B)=P(B|A_1)P(A_1)+P(B|A_2)P(A_2)+⋯+P(B|A_n)P(A_n)=∑_i^nP(B|A_i)P(A_i) P(B)=P(B∣A1​)P(A1​)+P(B∣A2​)P(A2​)+⋯+P(B∣An​)P(An​)=i∑n​P(B∣Ai​)P(Ai​)
贝叶斯公式: P ( A │ B ) = P ( A , B ) P ( B ) = P ( B │ A ) ∗ P ( A ) P ( B ) P(A│B)=\frac{P(A,B)}{P(B)} =\frac{P(B│A)*P(A)}{P(B)} P(A│B)=P(B)P(A,B)​=P(B)P(B│A)∗P(A)​由全概率公式贝叶斯法则可得： P ( A i │ B ) = P ( B │ A i

最低0.47元/天解锁文章