线性代数：高维投影的一些应用

      \, \, \, \, \, 之前提到过，在处理很多实际应用中的线性系统$Ax=b$求解问题的时候，由于采集大量样本导致矩阵$A$的行数大于列数，意味着方差的个数远远大于未知数个数，在这种情况下，由于数据偏差，方程之间就容易出现矛盾，因此真实情况建立的线性系统$Ax=b$大概率是无解的。

      \, \, \, \, \, 但是当我们并不需要一个十分精确的解，而只需一个接近解也足够用于研究的情况下。在线性系统$Ax=b$中，单单对于$Ax$来说，其实$Ax$表示的就是矩阵$A$的列空间，从向量乘法看$Ax$表示成$x$中的未知数与矩阵$A$的列向量相乘再相加的形式$x_1\cdot {\vec{v}}_1+x_2\cdot {\vec{v}}_2+x_3\cdot {\vec{v}}_3\cdots$，而这个表示形式的就是矩阵$A$的列向量的生成空间。既然$Ax$是矩阵$A$的列空间，继而线性系统$Ax=b$的求解问题可以理解成在$Ax$这个列空间中找到向量$b$，如果向量$b$在矩阵$A$的列空间中的话，那么就肯定会有一个或多个$x$与它相对应。所以在获取一个实际线性问题的近似解的时候，通常是在矩阵$A$的列空间中找到一个离$b$最近的$b^{\prime }$，转而求解线性系统$Ax=b^{\prime }$的解来近似$Ax=b$。

在矩阵$A$的列空间中寻找一个离$\vec{b}$最近的向量${\vec{b}}^{\prime }$,这个${\vec{b}}^{\prime }$其实就是$\vec{b}$在$A$的列空间的投影；
根据高中的几何知识可知$\vec{b}$在$A$的列空间的投影${\vec{b}}^{\prime }$是$A$的列空间中与向量$\vec{b}$夹角最小的向量，也即方向上最接近的向量。

求出矩阵$A$的列空间的一组正交基(Gram-Schmidt过程)，然后求出$\vec{b}$分别到这组正交基各个分量的投影(一维投影问题)，然后把这些投影分量加和在一起就是$\vec{b}$在$A$的列空间的投影${\vec{b}}^{\prime }$