HMM 做训练的 Sigma not positive definite （非正定的）原因及处理办法

dannyPolyu

于 2013-08-27 19:32:10 发布

阅读量4.5k

点赞数

分类专栏： Tech ML

本文链接：https://blog.csdn.net/dannyPolyu/article/details/10414823

版权

在使用HMM进行Gaussian Mixture Model拟合时遇到Sigma非正定的问题，这可能导致ML估计失败。非正定矩阵可能源于输入协方差矩阵、渐近互变异收矩阵估计、初始化值或数据问题。解决方案包括检查线性相关性、初始化参数、处理抽样误差和数据读取错误，以及应用PCA进行主成分分析。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

最近使用pmtk3工具，做 HMM with Gaussian Mixture Model 的 fitting 的时候总是报错问题是
Sigma is not positive definite.
大致搜了下什么是非正定，以及解决办法。

（I）问题出现：四种情况可以出现此问题
1. 输入的 covariance 或者corelation matrix 非正定。例如在最小二乘规划中需要covariance or correlation 一定要正定的。
ML estimation 也需要这个要求。

2. 渐近互变异收矩阵（asymptotic covariance matrix）。这个错误不是由于covariance matrix，而是a weight matrix to
be used with asymptotically distribution-free / weighted least squares (ADF/WLS) estimation

3. Sigma 的 estimate

4. other

（II）什么是非正定
正定矩阵 <=> 矩阵的所有特征值为正
矩阵的正定性和矩阵的determinant有一定的关系。 determinant 是矩阵的标量函数，即求矩阵行列式的值。
一个对称的矩阵，矩阵的正定需要其所有的Principal submatrices 正定。
如果一个矩阵的determinant 是0，则这个矩阵就是奇异矩阵 Singular matrix （其实就是对应的行列式值为0，或者n*n矩阵M 的秩 Rank（M