线性代数：矩阵对角化

基于矩阵相似$A=P{}^{-}1BP$，寻找一个最优坐标系对标准坐标系下的$B$变换进行描述，使得到一个非常简单的$A$变换从而帮助加速运算–该问题应用矩阵对角化进行求解。

矩阵对角化: $A=PD{P}^{-1}$，其中$D$表示对角矩阵$D=\left[\begin{array}{cccc}{d}_1& 0& ...& 0\\ 0& d_2& ...& 0\\ ...& ...& ...& ...\\ 0& 0& ...& d_n\end{array}\right]$

对于一个变换矩阵$A$，尝试寻找一个$P$坐标系，在该坐标系下$A$变换可以被描述为一个对角形式的矩阵$D$；因为对角矩阵在变换运算时的运算量是最小的，所以是在其它坐标系下寻找一个矩阵的最简相似矩阵的目标是寻找一个对角矩阵$D$，这个矩阵$D$与矩阵$A$表示同等变换。

要在一个$P$坐标系下寻找到一个$A$变换矩阵的对角矩阵，前提要求矩阵$A$有$n$个线性无关的特征向量。所以只要$A$矩阵存在有$n$个线性无关的特征向量，那么就一定存在它在$P$坐标系下描述的对角矩阵。

矩阵的对角化属于矩阵分解的一种方法；在$A=PD{P}^{-1}$的分解过程中，分解出的矩阵$P$由矩阵$A$的特征向量构成，矩阵$D$由矩阵$A$的特征值构成：

$D=\left[\begin{array}{cccc}{\lambda }_1& 0& ...& 0\\ 0& {\lambda }_2& ...& 0\\ ...& ...& ...& ...\\ 0& 0& ...& {\lambda }_n\end{array}\right]$ $P=\left[\begin{array}{cccc}|& |& & |\\ {\vec{u}}_1& {\vec{u}}_2& ...& {\vec{u}}_n\\ |& |& & |\end{array}\right]$

对于等式 $A=PD{P}^{-1}$
$AP=PD{P}^{-1}P=PDI=PD$
$AP=PD$
联系特征值与特征向量$A\vec{u}=\lambda \vec{u}$ 可知，当$P$由特征向量组成，$D$由特征值$\lambda$组成该等式成立

$AP=A\ast \left[\begin{array}{cccc}|& |& & |\\ {\vec{u}}_1& {\vec{u}}_2& ...& {\vec{u}}_n\\ |& |& & |\end{array}\right]=\left[\begin{array}{cccc}|& |& & |\\ A{\vec{u}}_1& A{\vec{u}}_2& ...& A{\vec{u}}_n\\ |& |& & |\end{array}\right]=\left[\begin{array}{cccc}|& |& & |\\ \lambda {\vec{u}}_1& \lambda {\vec{u}}_2& ...& \lambda {\vec{u}}_n\\ |& |& & |\end{array}\right]$

$PD=\left[\begin{array}{cccc}|& |& & |\\ {\vec{u}}_1& {\vec{u}}_2& ...& {\vec{u}}_n\\ |& |& & |\end{array}\right]\ast \left[\begin{array}{cccc}{\lambda }_1& 0& ...& 0\\ 0& {\lambda }_2& ...& 0\\ ...& ...& ...& ...\\ 0& 0& ...& {\lambda }_n\end{array}\right]=\left[\begin{array}{cccc}|& |& & |\\ \lambda {\vec{u}}_1& \lambda {\vec{u}}_2& ...& \lambda {\vec{u}}_n\\ |& |& & |\end{array}\right]$

从而， 当我们从$A$矩阵的特征向量组成的$P$矩阵的视角来看待$A$所代表的变换，$A$矩阵的表现形式最简。

性质推广

• 如果$A$有$n$个不同的特征值，意味着一定存在$n$个两两线性无关的特征向量，则$A$一定可以被对角化。
• 如果$A$没有$n$个不同的特征值(实数域内重数>1)，则$A$不一定不能被对角化，关键在于是否可以找到$n$个不同的线性无关特征向量。
• • 如单位矩阵$A=\left[\begin{array}{cc}1& 0\\ 0& 1\end{array}\right],\det (A-\lambda I)=0\to {\lambda }_1={\lambda }_2=1$特征值重数为1，虽然它没有两个不同的特征值，但是可以找到它的两个不同的特征向量$\vec{u}=(1,0),\vec{v}=(0,1)$,所以单位矩阵可以被对角化，不过其本身就是一个对角矩阵了。
• • 像矩阵$A=\left[\begin{array}{cc}3& 1\\ 0& 3\end{array}\right],\det (A-\lambda I)=0\to {\lambda }_1={\lambda }_2=3$特征值重数为1，但是其特征向量只有一组，所以无法被对角化。

对角化的重要应用–求解矩阵的幂

$A=PD{P}^{-1}$
$A^2=PD{P}^{-1}\ast PD{P}^{-1}=PDID{P}^{-1}=P{D}^2{P}^{-1}$
…
$A^m=P{D}^m{P}^{-1}$

对于对角矩阵的幂 $D=\left[\begin{array}{cccc}{\lambda }_1& 0& ...& 0\\ 0& {\lambda }_2& ...& 0\\ ...& ...& ...& ...\\ 0& 0& ...& {\lambda }_n\end{array}\right]$

$D^2=\left[\begin{array}{cccc}{\lambda }_1& 0& ...& 0\\ 0& {\lambda }_2& ...& 0\\ ...& ...& ...& ...\\ 0& 0& ...& {\lambda }_n\end{array}\right]\ast \left[\begin{array}{cccc}{\lambda }_1& 0& ...& 0\\ 0& {\lambda }_2& ...& 0\\ ...& ...& ...& ...\\ 0& 0& ...& {\lambda }_n\end{array}\right]=\left[\begin{array}{cccc}{\lambda }_1^2& 0& ...& 0\\ 0& {\lambda }_2^2& ...& 0\\ ...& ...& ...& ...\\ 0& 0& ...& {\lambda }_n^2\end{array}\right]$

$D^m=\left[\begin{array}{cccc}{\lambda }_1^m& 0& ...& 0\\ 0& {\lambda }_2^m& ...& 0\\ ...& ...& ...& ...\\ 0& 0& ...& {\lambda }_n^m\end{array}\right]$

$A^m=P\left[\begin{array}{cccc}{\lambda }_1^m& 0& ...& 0\\ 0& {\lambda }_2^m& ...& 0\\ ...& ...& ...& ...\\ 0& 0& ...& {\lambda }_n^m\end{array}\right]P^{-1}$ 简化了大量的矩阵运算

在现实中，遇到的大量属于动态系统范畴的问题(随着时间推移，对象的状态也在不断变化，这种变化可以被矩阵的形式所表征)，从而$k$时刻的状态 ${\vec{u}}_k=A^k{\vec{u}}_0=P{D}^k{P}^{-1}{\vec{u}}_0$；比如对处于随机过程中的对象进行观测，它处于不同状态的概率被向量$\vec{u}$所描述，相应的随着时间的推进，对象会不断变化，这种概率变化过程就可以被矩阵A所表征。

对于动态系统的描述方程 ${\vec{u}}_k=A^k{\vec{u}}_0=P{D}^k{P}^{-1}{\vec{u}}_0$，$A$表征的变化就是$D$，只是$D$这个形式矩阵要在$P$坐标系下进行描述，由$A$矩阵的特征值组成的$D$矩阵同时描述了在各时刻下${\vec{u}}_0$的状态，所以特征值反映了研究对象的各个分量的速率，这个速率（被描述在$P$坐标系下）。