DL-FWI培训Day3

perfect458

已于 2025-05-04 10:26:11 修改

阅读量816

点赞数 18

文章标签：人工智能 DL-FWI 深度学习

于 2025-05-03 20:14:29 首次发布

本文链接：https://blog.csdn.net/perfect458/article/details/147683733

版权

一、Training

一、Training detail

二、Curriculum learning（课程学习）

三、Transfer learning（迁移学习）

四、Domain adaptation（领域自适应）

二、Observation system（观测系统）

摘要：本贴基于闵帆老师对于2025届新生进行的DL-FWI培训第三天进行心得总结。

一、Training

在深度学习中，“training”（训练）是一个核心环节，其目的是通过调整模型的参数，使模型能够从给定的数据中学习到内在的模式和规律，从而对新的数据做出准确的预测或分类。

一般来说，训练具备几个过程。

首先进行数据准备，数据分为训练集，验证集以及测试集。训练集的数据用于对模型进行训练，验证集用于在训练过程中评估模型的性能并调整超参数，测试集用于最终评估训练好的模型的泛化能力。

其次进行模型的初始化，设计并选择合适的模型并随即初始化模型的参数，这些参数会在训练的过程中不断地自动进行调整以优化模型的性能。

接着进行正向传播，将训练数据输入到模型中，经过输入层隐层以及输出层得到模型的预测成果。

然后将预测成果与真实标签进行对比计算Loss。再根据损失函数对模型参数的梯度信息，从输出层开始反向传播，计算每个参数对损失的贡献程度，然后使用优化算法根据这些梯度信息来更新模型的参数，使得损失函数逐渐减小。

通过不断地迭代过程，最终损失函数收敛，训练结束。在这个过程中，我们也要注意设置合理的训练轮数等避免过拟合。

下面介绍几种常见的训练方法

一、Training detail

我们首先了解几个重要概念。

Learning rate（学习率）：它决定在训练过程中模型更新的步长。合适的学习率对模型的收敛至关重要。过小的学习率会导致收敛困难，训练十分缓慢；而过大的学习率则会导致模型无法收敛甚至发散。

我们可以举一个简单的例子，例如你需要找到地球的最高峰，从成都出发，如果你的学习率过小，你会耗费大量的时间一步一步走过去，甚至在西岭雪山就会误认为达到了最高峰陷入局部最优解。而如果学习率过大，可能会一步跨过珠峰跳过最优解。甚至在寻找珠穆朗玛峰的过程中，可能会因为步伐太大而在不同的地方来回跳动，无法稳定地朝着目标前进。

Training epochs（训练轮数）：它是指整个训练数据集完整地通过模型进行学习的次数。通过预先设定好合适的训练轮数可以对模型的收敛其积极的推进作用。过少的轮数会导致模型无法完整学习数据中的特征与规律，出现欠拟合的情况。而过大的轮数则会导致模型对数据中的噪声和异常值进行过度学习，出现过拟合的情况。

二、Curriculum learning（课程学习）

Curriculum learning 即课程学习，其核心思想是按照一定的顺序或 “课程” 来呈现训练数据，让模型的学习由易到难，帮助模型更有效地学习与泛化。对于机器的思维方式来说，数据的难易是和人类思维不一样的。因此，有时候需要人们手动对其进行排序，并对各种顺序的学习结果进行对比，从而得出最佳顺序。但在有的情况来说，我们也可以直接对数据的学习顺序进行排序，例如在图像分类任务中，可以根据图像的分辨率、物体的清晰程度、背景的复杂程度等因素来判断数据的难易程度。对于文本数据，可以根据句子的长度、词汇的复杂度、语法结构的难易等来排序。

这种训练方式可以提高模型的训练效率。模型在学习简单数据时更容易捕捉到数据的基本模式与特征，可以让模型收敛的速度提高。

三、Transfer learning（迁移学习）

迁移学习是一种机器学习技术，简单来说他就是将一个任务或者数据集上学习到的知识或模型迁移到与之相关但又不完全相同的的任务或模型上。

不同的任务或数据集通常具备一些相似性或者共享特征。迁移学习就是利用这种共性，将原有数据集训练的出的特征，模型结构和参数等应用到新的数据集中。这样对新的数据的标签的需求就减少了。

但迁移学习也有一些挑战。例如目标域的标签过少，难以识别；源域与目标域的区别较大等。

四、Domain adaptation（领域自适应）

领域自适应是迁移学习的一个分支。它适用的范围是目标域与源于数据分布不同甚至目标域数据无标签的情况。这种情况通常有几种解决方法

基于数据变换的方法：这类方法试图通过对源领域或目标领域的数据进行变换，使得两个领域的数据分布尽可能相似。通常使用生成对抗网络（GAN）。

基于特征表示的方法：这类方法试图找到一种特征表示，使得在这种表示下源领域和目标领域的数据分布差异最小化。常见的做法是利用深度神经网络学习一个共享的特征空间，在这个空间中，源领域和目标领域的特征分布尽可能一致，同时保留与任务相关的信息。

二、Observation system（观测系统）

震源：产生地震波的源头，通常采用炸药震源、可控震源等。通常称为炮点。

接收系统：由多个地震检波器组成，用于接收地震波传播到地面或地下不同位置的信号。

FWI中有几种常见的观测方法，介绍如下

一、正常的陆地观测系统

通常来说一个炮点会在其两侧分布均匀的检波器，当炮点产生地震波之后，激发器位置会首先接收到信号，之后是两侧的检波器。距离激发器越远的检波器接收信号越晚。

同时，这种观测系统的炮点与检波器更类似于一个滑动窗口。当第一个激发器产生地震波检波器收到信号之后，激发器与检波器会同时移动到下一个位置重复当前操作。这种滑动的方式会使得一部分检波器进行重复观测，这些检波器也会被多次覆盖。这种多次覆盖的检波器会得到多组数据，我们往往对这些数据进行取平均值或加权平均值操作。

这种操作的好处就是我们获得的数据包含更加全面的信息与特征。但同时，也具有较高的噪声。