【线性代数\矩阵论】最小二乘估计详解：普通最小二乘与加权最小二乘

  最小二乘估计是参数估计和系统辨识中最基础且广泛应用的方法。其核心思想是通过最小化预测误差的平方和来估计模型参数。根据噪声特性和应用需求，主要分为普通最小二乘(OLS)和加权最小二乘(WLS)。

问题模型

线性模型的一般形式

  考虑线性参数模型：
$$y(i)={\varphi }_1(i){\theta }_1+{\varphi }_2(i){\theta }_2+\cdots +{\varphi }_n(i){\theta }_n+e(i),i=1,2,\dots ,m$$

其中

• $y(i)$: 第$i$次观测的输出
• ${\varphi }_j(i)$: 第$i$次观测中第$j$个已知输入或特征变量
• ${\theta }_j$: 第$j$个待估计的未知参数
• $e(i)$: 第$i$次观测的随机噪声
• $m$: 观测次数，通常要求$m>n$（超定方程组）

线性模型的矩阵表示

  定义：
$$\mathbf{Y}=\left[\begin{array}{c}y(1)\\ y(2)\\ ⋮\\ y(m)\end{array}\right],\Phi =\left[\begin{array}{cccc}{\varphi }_1(1)& {\varphi }_2(1)& \cdots & {\varphi }_n(1)\\ {\varphi }_1(2)& {\varphi }_2(2)& \cdots & {\varphi }_n(2)\\ ⋮& ⋮& \ddots & ⋮\\ {\varphi }_1(m)& {\varphi }_2(m)& \cdots & {\varphi }_n(m)\end{array}\right],\mathbf{\theta }=\left[\begin{array}{c}{\theta }_1\\ {\theta }_2\\ ⋮\\ {\theta }_n\end{array}\right],\mathbf{e}=\left[\begin{array}{c}e(1)\\ e(2)\\ ⋮\\ e(m)\end{array}\right]$$

  则系统方程可简洁表示为：
$$\mathbf{Y}=\Phi \mathbf{\theta }+\mathbf{e}$$

普通最小二乘估计(OLS)

代价函数与优化问题

  普通最小二乘的目标是找到参数估计值$\hat{\mathbf{\theta }}$，使得残差平方和最小：
$$J(\mathbf{\theta })=\sum _{i=1}^{m}e(i{)}^2={\mathbf{e}}^T\mathbf{e}=(\mathbf{Y}-\Phi \mathbf{\theta }{)}^T(\mathbf{Y}-\Phi \mathbf{\theta })$$

正规方程与解析解

  对代价函数$J(\mathbf{\theta })$关于$\mathbf{\theta }$求导并令为零：
$$\frac{\partial J(\mathbf{\theta })}{\partial \mathbf{\theta }}=-2{\Phi }^T(\mathbf{Y}-\Phi \mathbf{\theta })=0$$
  得到正规方程(Normal Equation)：
$${\Phi }^T\Phi \hat{\mathbf{\theta }}={\Phi }^T\mathbf{Y}$$

  若${\Phi }^T\Phi$可逆（要求$\Phi$列满秩，即特征间线性无关），则OLS估计为（左伪逆矩阵）：
$$\boxed{{\hat{\mathbf{\theta }}}_{\text{OLS}}=({\Phi }^T\Phi {)}^{-1}{\Phi }^T\mathbf{Y}}$$

基本假设

  普通最小二乘的有效性依赖于以下关键假设：

• $\text{线性关系}$: 真实模型为线性
• $\text{无完全共线性}$: $\Phi$列满秩，保证$({\Phi }^T\Phi {)}^{-1}$存在
• $\text{零均值噪声}$: $E[\mathbf{e}]=0$
• $\text{同方差性}$: $\text{Var}(e(i))={\sigma }^2$（常数）
• $\text{无自相关}$: $E[e(i)e(j)]=0,i\ne j$
• $\text{外生性}$: $\Phi$与$\mathbf{e}$不相关

统计性质

  在上述假设成立时，OLS估计具有以下优良性质：

• $\text{无偏性}$: $E[{\hat{\mathbf{\theta }}}_{\text{OLS}}]=\mathbf{\theta }$
• $\text{协方差矩阵}$: $\text{Cov}({\hat{\mathbf{\theta }}}_{\text{OLS}})={\sigma }^2({\Phi }^T\Phi {)}^{-1}$
• $\text{高斯-马尔可夫定理}$: OLS是最优线性无偏估计(BLUE)
• $\text{一致性}$: 当$m\to \infty$时，${\hat{\mathbf{\theta }}}_{\text{OLS}}\to \mathbf{\theta }$

加权最小二乘估计(WLS)

问题动机

  当噪声不满足同方差假设时，即存在异方差性(Heteroscedasticity):
$$\text{Var}(e(i))={\sigma }_i^2\ne \text{常数}$$
  此时OLS虽然仍是无偏的，但不再是有效的（方差不是最小）。WLS通过对不同可靠性的观测赋予不同权重来提高估计效率。

噪声协方差矩阵

  一般地，假设噪声向量的协方差矩阵为：
$$\text{Cov}(\mathbf{e})=R=\left[\begin{array}{cccc}{\sigma }_1^2& {\sigma }_{12}& \cdots & {\sigma }_{1m}\\ {\sigma }_{21}& {\sigma }_2^2& \cdots & {\sigma }_{2m}\\ ⋮& ⋮& \ddots & ⋮\\ {\sigma }_{m1}& {\sigma }_{m2}& \cdots & {\sigma }_m^2\end{array}\right]$$
  其中对角元素为各观测的方差，非对角元素表示观测间的相关性。

加权代价函数

  WLS最小化加权残差平方和：
$$J_W(\mathbf{\theta })=(\mathbf{Y}-\Phi \mathbf{\theta }{)}^{T}W(\mathbf{Y}-\Phi \mathbf{\theta })$$
  其中$W$是正定对称权重矩阵。最优选择为$W=R^{-1}$。

WLS解析解

  对$J_W(\mathbf{\theta })$求导并令为零：
$$\frac{\partial J_W(\mathbf{\theta })}{\partial \mathbf{\theta }}=-2{\Phi }^{T}W(\mathbf{Y}-\Phi \mathbf{\theta })=0$$
  得到加权正规方程：
$${\Phi }^{T}W\Phi \hat{\mathbf{\theta }}={\Phi }^{T}W\mathbf{Y}$$

  若${\Phi }^{T}W\Phi$可逆，则WLS估计为：
$$\boxed{{\hat{\mathbf{\theta }}}_{\text{WLS}}=({\Phi }^{T}W\Phi {)}^{-1}{\Phi }^{T}W\mathbf{Y}}$$

  特别地，当$W=R^{-1}$时：
$${\hat{\mathbf{\theta }}}_{\text{WLS}}=({\Phi }^T{R}^{-1}\Phi {)}^{-1}{\Phi }^T{R}^{-1}\mathbf{Y}$$

统计性质

  当$W=R^{-1}$时，WLS估计具有以下性质：

• $\text{无偏性}$: $E[{\hat{\mathbf{\theta }}}_{\text{WLS}}]=\mathbf{\theta }$
• $\text{协方差矩阵}$: $\text{Cov}({\hat{\mathbf{\theta }}}_{\text{WLS}})=({\Phi }^T{R}^{-1}\Phi {)}^{-1}$
• $\text{有效性}$: 在广义线性模型下，WLS是BLUE
• $\text{高斯-马尔可夫定理推广}$: 当$\text{Cov}(\mathbf{e})=R$时，权重$W=R^{-1}$给出最小方差线性无偏估计

特殊情况：对角权重矩阵

  当噪声不相关时，$R$为对角阵：
$$R=\text{diag}({\sigma }_1^2,{\sigma }_2^2,\dots ,{\sigma }_m^2)$$
  则$W=R^{-1}=\text{diag}(1/{\sigma }_1^2,1/{\sigma }_2^2,\dots ,1/{\sigma }_m^2)$，代价函数简化为：
$$J_W(\mathbf{\theta })=\sum _{i=1}^m\frac{1}{{\sigma }_i^2}[y(i)-\varphi (i{)}^T\mathbf{\theta }{]}^2$$
  这直观显示了WLS的核心思想：给高方差（不可靠）的观测赋予小权重，给低方差（可靠）的观测赋予大权重。

OLS与WLS的比较

估计量对比

$$\begin{array}{ccc}\text{特性}& \text{普通最小二乘(OLS)}& \text{加权最小二乘(WLS)}\\ \text{适用条件}& \text{同方差、无相关噪声}& \text{异方差或相关噪声}\\ \text{权重矩阵}& W=I& W=R^{-1}(\text{最优选择})\\ \text{估计公式}& \hat{\mathbf{\theta }}=({\Phi }^T\Phi {)}^{-1}{\Phi }^T\mathbf{Y}& \hat{\mathbf{\theta }}=({\Phi }^{T}W\Phi {)}^{-1}{\Phi }^{T}W\mathbf{Y}\\ \text{协方差矩阵}& {\sigma }^2({\Phi }^T\Phi {)}^{-1}& ({\Phi }^T{R}^{-1}\Phi {)}^{-1}\\ \text{估计效率}& \text{同方差下最优}& \text{异方差下优于OLS}\\ \text{计算复杂度}& \text{较低}& \text{较高（需估计R或W）}\end{array}$$

选择准则

• 如果噪声协方差$R$已知或可准确估计，使用WLS($W=R^{-1}$)
• 如果$R$未知但怀疑存在异方差，可先进行异方差检验，再采用可行的广义最小二乘(FGLS)
• 如果样本量足够大且满足同方差假设，OLS是简单有效的选择
• 当$R$为对角阵时，WLS等价于对数据进行标准化后应用OLS

应用实例

OLS应用示例：线性回归

  对于简单线性模型$y=a+bx+e$，$n=2$次观测：
$$\Phi =\left[\begin{array}{cc}1& x_1\\ 1& x_2\end{array}\right],\mathbf{Y}=\left[\begin{array}{c}{y}_1\\ y_2\end{array}\right]$$
  OLS解：
$$\left[\begin{array}{c}\hat{a}\\ \hat{b}\end{array}\right]=({\Phi }^T\Phi {)}^{-1}{\Phi }^T\mathbf{Y}=\frac{1}{2\sum x_i^2-(\sum x_i{)}^2}\left[\begin{array}{cc}\sum x_i^2& -\sum x_i\\ -\sum x_i& 2\end{array}\right]\left[\begin{array}{c}\sum y_i\\ \sum x_i{y}_i\end{array}\right]$$

WLS应用示例：传感器融合

  考虑两个不同精度的传感器测量同一物理量$\theta$：
$$y_1=\theta +e_1,\text{Var}(e_1)={\sigma }_1^2$$
$$y_2=\theta +e_2,\text{Var}(e_2)={\sigma }_2^2$$
  模型矩阵：$\Phi =\left[\begin{array}{c}1\\ 1\end{array}\right]$, $R=\left[\begin{array}{cc}{\sigma }_1^2& 0\\ 0& {\sigma }_2^2\end{array}\right]$
  WLS估计：
$${\hat{\theta }}_{\text{WLS}}=\frac{\frac{y_1}{{\sigma }_1^2}+\frac{y_2}{{\sigma }_2^2}}{\frac{1}{{\sigma }_1^2}+\frac{1}{{\sigma }_2^2}}$$
  这是方差的倒数加权平均，高精度传感器（小方差）获得更大权重。

总结

  普通最小二乘和加权最小二乘构成了经典线性估计的理论基础。OLS在同方差假设下是最优的，而WLS通过引入权重矩阵处理异方差和相关噪声问题。实际应用中，需要根据噪声特性选择合适的方法，或通过迭代方法估计权重矩阵。这两种方法也构成了更高级估计技术（如递推最小二乘、卡尔曼滤波）的基础。