本文探讨了多项式曲线拟合中的参数估计问题，包括最小二乘法、贝叶斯估计方法以及如何通过增加数据量、正则化和模型选择来避免过拟合。同时介绍了信息论在模型评估中的应用，如熵的概念和相对熵的优化编码作用。
C1
符号含义
x \bold x x：向量，曲线拟合问题中的x坐标数值序列。元素个数为N。
t \bold t t：向量，曲线拟合问题中的y坐标(target)数值序列。
w \bold w w：向量，曲线拟合问题中的待估计的参数，即M阶多项式的各阶系数。
β \beta β： 标量，协方差的倒数，表示样本的精度。
α \alpha α：标量，同上，曲线拟合例子中的先验的精度。
多项式曲线拟合
E ( w ) = 1 2 ∑ n = 1 N { y ( x n , w ) − t n } 2 E(w) = \frac{1}{2}\sum_{n=1}^N{\{y(x_n,w)-t_n}\}^2 E(w)=21n=1∑N{
y(xn,w)−tn}2
RMS
E R M S = 2 E ( w ) N E_{RMS}=\sqrt {\frac{2E(w)}{N}} ERMS=N2E(w)
观测数据的多少，影响曲线拟合情况：同样的模型，如较少的数据会导致严重过拟合，较多的数据会使得拟合更接近理想模型。多项式的阶数影响拟合的结果。
控制过拟合现象的一种方法，
E ( w ) = 1 2 ∑ n = 1 N { y ( x n , w ) − t n } 2 + λ 2 ∥ w ∥ 2 E(w) = \frac{1}{2}\sum_{n=1}^N\{
{y(x_n,w)-t_n}\}^2+\frac{\lambda}{2}\|w\|^2 E(w)=21n=1∑
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
