矩阵对矩阵求导

最新推荐文章于 2021-12-06 11:58:54 发布

原创最新推荐文章于 2021-12-06 11:58:54 发布

· 3.3k 阅读

19 ·

版权

文章标签：

#矩阵

Math 专栏收录该内容

67 篇文章

订阅专栏

1 矩阵对矩阵求导微分法

假设有矩阵函数 $\in \mathbb{R}^{p \times q}$ 要对矩阵 $\bm{X} \in \mathbb{R}^{m \times n}$ 求导。则矩阵对矩阵求导微分法的步骤是先对矩阵函数求微分，再需要先对矩阵做向量化，然后使用向量对向量求导，则有 $\mathrm{vec}(d\mathrm{\bm{F}})=\frac{\mathrm{\partial vec(\bm{F})}}{\partial \mathrm{vec}(\bm{X})^{\top}}\mathrm{vec}(d\bm{X})$

2 求解 $\frac{\partial \bm{AXB}}{\partial \bm{X}}$

假设 $\bm{A} \in \mathbb{R}^{l \times m}$ ， $\bm{X} \in \mathbb{R}^{m \times n}$ ， $\bm{B}\in \mathbb{R}^{n \times q}$ 都是矩阵。先对矩阵函数求微分则有 $\bm{F}=\bm{A}d\bm{XB}$ 再进行向量化操作 $vec(d\bm{F})=vec(\bm{A}d\bm{XB})=(\bm{B}^{\top}\otimes \bm{A})vec(d\bm{X})$ 最终可知求导的矩阵梯度为 $\frac{\partial \bm{AXB}}{\partial \bm{X}}=(\bm{B}^{\top}\otimes \bm{A}^{\top})^{\top}=\bm{B}\otimes\bm{A}^{\top}$ 利用上面的结果也可以推知 $\frac{\partial \bm{AX}}{\partial \bm{X}}=\bm{I}_n\otimes\bm{A}^{\top}$ $\frac{\partial \bm{XB}}{\partial \bm{X}}==\bm{B}\otimes\bm{I}_m$

3 求解 $\frac{\partial \bm{A}\exp(\bm{BXC})\bm{D}}{\partial \bm{X}}$

首先对矩阵函数微分可以到 $d\bm{F}=\bm{A}[d\exp(\bm{BXC})]\bm{D}=\bm{A}[\exp(\bm{BXC})\odot(\bm{B}d\bm{XC})]\bm{D}$ 两边矩阵向量化则有 $\begin{aligned}vec(d \bm{F})&=(\bm{D}^{\top}\otimes \bm{A})vec[\exp(\bm{BXC})\odot(\bm{B}d\bm{XC})]\\&=(\bm{D}^{\top}\otimes \bm{A})diag(\exp(\bm{BXC}))vec(\bm{B}d\bm{XC}) \\&=(\bm{D}^{\top}\otimes\bm{A})diag(\exp(\bm{BXC}))(\bm{C}^{\top}\otimes \bm{B})vec(d\bm{X})\end{aligned}$ 最终可以得到 $\begin{aligned}\frac{\partial \bm{A}\exp(\bm{BXC})\bm{D}}{\partial \bm{X}}&=[(\bm{D}^{\top}\otimes\bm{A})diag(\exp(\bm{BXC}))(\bm{C}^{\top}\otimes \bm{B})]^{\top}\\&=(\bm{C}\otimes \bm{B}^{\top})diag(\exp(\bm{BXC}))(\bm{D}\otimes \bm{A}^{\top})\end{aligned}$