39、无监督学习范式：能量模型与自编码器模型解析

无监督学习范式：能量模型与自编码器模型解析

在无监督学习领域，能量模型和自编码器模型是两类重要的模型，它们在特征提取、数据生成等方面发挥着关键作用。本文将详细介绍这两类模型的相关内容。

1. 能量模型

1.1 基于能量的玻尔兹曼模型

有三种基于能量的玻尔兹曼模型，分别是玻尔兹曼机（Boltzmann Machines）、受限玻尔兹曼机（Restricted Boltzmann Machines）和深度玻尔兹曼机（Deep Boltzmann Machines）。
- 玻尔兹曼机（BMs）
- 结构 ：由对称耦合的随机二进制单元组成的无向网络。包括一组可见单元 $\mathbf{v} \in {0, 1}^D$ 和一组隐藏单元 $\mathbf{h} \in {0, 1}^P$，其中 $D$ 和 $P$ 分别表示可见单元和隐藏单元的数量。
- 能量定义 ：状态 ${\mathbf{v}, \mathbf{h}}$ 的能量定义为 $E_{\theta}(\mathbf{v}, \mathbf{h}) = -\frac{1}{2}\mathbf{v}^T L\mathbf{v} - \frac{1}{2}\mathbf{h}^T J\mathbf{h} - \mathbf{v}^T W\mathbf{h}$，其中 $\theta = {W, L, J}$ 是模型的参数，$W$ 表示可见单元到隐藏单元的交互，$L$ 表示可见单元到可见单元的交互，$J$ 表示隐藏单元到隐藏单元的交互。
- 训练与平衡