优化器/模型参数/超参数

参数（Parameters） vs. 超参数（Hyperparameters）

1.1 参数（Parameters）

• 定义：模型中需要学习的变量，例如神经网络中的权重（Weight）和偏置（Bias）。
• 例子：
  • 线性回归中的 ww 和 bb（y=wx+by=wx+b）。
  • BERT中的注意力权重、全连接层的参数。
• 调整者：优化器（Optimizer） 负责调整这些参数，使其在训练过程中不断优化。

1.2 超参数（Hyperparameters）

• 定义：由开发者手动设置的参数，控制训练过程，但不会被优化器直接学习。
• 例子：
  • 优化器类型（如Adam、SGD）。
  • 学习率（Learning Rate）（如 lr=2e-5）。
  • 批量大小（Batch Size）（如 batch_size=32）。
  • 训练轮次（Epochs）（如 num_epochs=5）。
• 调整者：开发者 需要手动调整或通过超参数优化技术（如网格搜索）寻找最佳值。

• 超参数的调整需要人工干预或超参数优化算法，例如：

• 手动调整：尝试不同的学习率（如 1e-4、5e-5）。
• 超参数优化工具：
  • 网格搜索（Grid Search）：遍历超参数组合。
  • 贝叶斯优化（Bayesian Optimization）：智能搜索最佳超参数。
  • 随机搜索（Random Search）：随机尝试超参数组合。

2. 优化器的作用

优化器只调整模型参数（Parameters），不调整超参数（Hyperparameters）

• 优化器的核心任务：
  根据损失函数的梯度，自动更新模型参数（如权重、偏置），使其在训练过程中逐步优化。
• 优化器无法调整超参数：
  超参数（如学习率、优化器类型）是开发者预先设置的，优化器只能按照这些超参数的规则工作。

• 概念	定义	谁调整它？	例子
  参数	模型的可学习变量（权重、偏置）	优化器（自动调整）	BERT的注意力权重、线性层的 ww
  超参数	开发者设置的训练控制参数	开发者或超参数工具	学习率、批量大小、优化器类型