batch、batch_size、epoch、iteration简介

### 深度学习中 epoch、iteration、batch size 和 num_workers 的定义与区别 #### Epoch 定义 Epoch 表示整个训练集中所有样本被用来更新一次参数的过程。换句话说，当所有的训练样例都参与了一轮前向传播和反向传播之后，则完成了一个 epoch[^1]。 #### Iteration (Batch Index) 定义 Iteration 或称为 batch index 是指每一批次（batch）数据用于权重更新的一次过程。在一个 epoch 中会有多个 iteration 发生，具体数量取决于总样本数除以批次大小的结果向上取整后的值。需要注意的是，在某些资料中提到 `batch_idx == iteration`，这意味着两者可以互换使用表示当前正在处理第几个 mini-batch。 #### Batch Size 定义 Batch size 指定每次传递给模型进行预测并据此调整其内部参数所使用的样本数目。较小的 batch size 能够带来更频繁但也更加不稳定的学习步调；较大的 batch size 则有助于加速收敛但可能会导致最终性能不如前者理想。此外，batch size 对于 GPU 显存也有直接影响——过大的 batch size 可能会造成超出显存容量的情况发生[^3]。 #### Num Workers 定义 Num workers 控制着 DataLoader 加载图片或其他类型文件时开启多少个子进程来进行预读取工作。适当增加此数值可以在一定程度上提升 I/O 效率从而加快整体训练进度，不过这也意味着更多的内存资源会被占用。特别是开启了 pin_memory 功能的情况下，每个 worker 需要额外缓存一个完整的 batch 数据，这进一步增加了对 RAM 的需求[^5]。 ```python import torch.utils.data as data_utils train_loader = data_utils.DataLoader( dataset=train_dataset, batch_size=64, # 设置批处理大小 shuffle=True, # 是否打乱顺序 num_workers=4 # 使用四个线程加载数据 ) ``` #### 关系说明 - **Epoch vs Iterations**: 一个 epoch 包含若干 iterations，即在整个训练集上执行一遍 forward-backward pass 所需经历的所有 mini-batches 更新次数。 - **Batch Size Impact on Training Speed & Convergence**: 较大的 batch sizes 提升了单次迭代内的计算效率，然而也可能延长达到特定准确性的所需 epochs 数目，并且存在最佳 batch size 来平衡时间和精度之间的权衡[^4]。 - **Num Workers and Memory Usage**: 更多的工作线程能够改善 IO 性能，但这伴随着更高的内存开销，尤其是在启用了 pin_memory 参数的情形下。因此需要根据实际情况合理配置这些参数以优化训练流程而不至于耗尽系统资源.