- 博客(479)
- 收藏
- 关注
RSS订阅原创 NLP：seq2seq模型架构实现英译法
调⽤训练函数并打印⽇志和制图 损失曲线分析: ⼀直下降的损失曲线, 说明模型正在收敛, 能够从数据中找到⼀些规律 应⽤于数据。过滤出符合我们要求的语⾔对 对以上数据准备函数进⾏整合, 并使⽤类Lang对语⾔对进⾏数值映射。第五步: 构建模型评估函数, 并进⾏测试以及Attention效果分析.第⼆步: 对持久化⽂件中数据进⾏处理, 以满⾜模型训练要求.第三步: 构建基于GRU的编码器和解码器.第四步: 构建模型训练函数, 并进⾏训练.构建基于GRU和Attention的解码器。构建基于GRU的解码器。
2025-04-06 19:21:54
423
原创 NLP：Teacher Forcing
教师强迫是一种有效的训练策略，可以加速 Seq2Seq 模型的收敛，同时减少模型在生成过程中因错误产生的连锁反应。然而，在使用教师强迫时，开发者需要平衡其优缺点，以便确保模型在实际应用中的有效性。理解如何在模型中实现和调整教师强迫是提升生成模型性能的重要一步。
2025-04-06 16:01:33
381
原创 NLP：Seq2Seq
Seq2Seq 模型为处理变长序列提供了一种有效的方式，它通过编码器和解码器的架构，结合注意力机制，进一步提升了多种任务的性能。这种模型在机器翻译和其他序列生成任务中得到了广泛应用。
2025-04-05 22:52:29
1066
原创 NLP：RNN模型构建⼈名分类器
模型训练的损失降低快慢代表模型收敛程度, 由图可知, 传统RNN的模型收敛情况最 好, 然后是GRU, 最后是LSTM, 这是因为: 我们当前处理的⽂本数据是⼈名, 他们的⻓ 度有限, 且⻓距离字⺟间基本⽆特定关联, 因此⽆法发挥改进模型LSTM和GRU的⻓距 离捕捉语义关联的优势. 所以在以后的模型选⽤时, 要通过对任务的分析以及实验对 ⽐, 选择最适合的模型.LSTM. 构建GRU模型的类class GRU.构建传统RNN评估函数evaluateRNN.构建传统的RNN模型的类class RNN.
2025-04-05 11:53:49
674
原创 NLP：注意力机制
注意力机制是一种强大的工具，适用于多种深度学习任务，特别是在处理序列数据时。它不仅改善了模型的性能，还为生成任务提供了更灵活的上下文选择。通过 PyTorch 可以方便地实现和使用注意力机制，从而提升模型的表现。QKVQd_kC。
2025-04-03 23:18:07
1135
原创 NLP：门控循环单元
GRU 模型因其较简单的结构和有效的长期依赖捕捉能力，在各类时间序列及自然语言处理任务中得到了广泛应用。此示例代码展示了如何在 PyTorch 中构建、训练及评估 GRU 网络，方便您在具体应用中进行参考和改进。
2025-04-03 22:53:05
783
原创 NLP：长短时记忆网络
长短时记忆网络（Long Short-Term Memory, LSTM）是一种特殊类型的循环神经网络（RNN），旨在解决基本 RNN 在处理长序列数据时遇到的梯度消失和长距离依赖问题。LSTM 由 Sepp Hochreiter 和 Jürgen Schmidhuber 于 1997 年首次提出，并在许多序列数据处理任务中取得了显著成功。
2025-04-02 13:20:34
1080
原创 NLP：循环神经网络
循环神经网络（RNN）是一种强大的序列建模工具，能够处理时间序列中的复杂关系。虽然存在梯度消失和长距离依赖等问题，但通过如 LSTM 和 GRU 等变种，RNN 已经能够在多个领域（包括自然语言处理、语音识别等）取得显著的效果。RNN 的适用性使其成为深度学习中的重要组成部分。
2025-03-30 08:33:34
799
原创 NLP：回译数据增强
回译是一种有效且简单的数据增强方法，广泛应用于文本分类、情感分析以及其他 NLP 任务中。通过生成多样的句子，可以提高模型的准确性和鲁棒性。在使用回译时，仍然需注意翻译的准确性和生成文本的质量。
2025-03-29 15:45:40
298
原创 NLP：文本特征处理
N-gram 是文本分析中用于表示文本片段的连续单词序列。通过考虑多个连续的词，N-gram 能够捕捉更丰富的上下文信息。1-gram（unigram）：单个词。2-gram（bigram）：两个连续的词。3-gram（trigram）：三个连续的词。文本长度规范是指对文档或句子的长度进行标准化处理，以便提取与长度相关的特征。这一过程可以帮助模型理解文本的结构特征，以及识别短文本和长文本之间的差异。N-gram 特征：使模型能够理解文本中的上下文和序列信息，适合许多文本分类场景。
2025-03-28 23:02:52
913
原创 NLP：数据分析
标签数量分布分析用于评估和可视化数据集中的各类标签（例如情感标签：积极、消极、中立；主题标签：体育、科技、娱乐等）的数量和比例。这项分析能够帮助研究人员和数据科学家了解数据集的均衡性，从而更好地制定后续的建模策略。句子长度分布分析主要针对数据集中每个句子的长度进行统计，通常以句子中的单词数或字符数为单位。这可以帮助研究者评估文本的可读性和结构特点。词频统计是对数据集中每个词出现的频率进行计数的过程。这一过程帮助识别文本中的常见词汇和主题，从而获得更深层次的理解。
2025-03-28 20:08:14
923
2
原创 NLP：词向量
词向量通过有效的统计方法将单词映射到稠密向量空间，能够捕捉单词间的语义关系，广泛应用于各种自然语言处理任务。尽管存在静态性质的局限性，词向量仍然是许多NLP应用中的基础工具，并为后续的上下文相关词嵌入（如BERT、GPT等）奠定了重要基础。
2025-03-25 18:27:17
766
原创 NLP：One-Hot Encoding
One-Hot Encoding 是一种简单、高效的将离散特征转化为数值格式的方法，适用于小型词汇表的场合。然而，在处理大规模文本数据时，由于它的稀疏性和低效性，可能不太适合。这种情况下，可以考虑使用更先进的特征表示方法，如词向量、TF-IDF 或文本嵌入，这些方法能够捕捉词汇间的关系和上下文信息，进而提高模型效果。
2025-03-25 15:37:42
557
原创 NLP：发展历程
自然语言处理（NLP）的发展历程可以追溯到上世纪50年代。随着计算机科学、人工智能和语言学的发展，NLP经历了多个阶段，逐渐演变出现代成熟的技术。
2025-03-24 11:35:12
581
原创 NLP自然语言处理
自然语言处理（Natural Language Processing, NLP）是人工智能和计算机科学领域的一个分支，旨在使计算机能够理解、解释和生成自然语言（人类语言）。NLP 将语言学、计算机科学和机器学习结合起来，处理人类语言的数据，以便计算机能够执行与人类沟通和互动的任务。
2025-03-24 11:21:30
387
原创 Pytorch：卷积神经网络简单案例
为了真正利⽤Pytorch中Tensor的优秀属性, 加速模型的训练, 我们可以将训练过程转移到 GPU上进⾏.为了更加细致的看⼀下模型在哪些类别上表现更好, 在哪些类别上表现更差, 我们分类别的 进⾏准确率计算.接下来看⼀下在全部测试集上的表现。
2025-03-23 22:10:14
142
原创 PyTorch：autograd
使 PyTorch 追踪计算并支持自动求导。backward()计算梯度，非标量张量需要手动传入gradient。detach()和可用于禁用梯度计算，适用于推理阶段。在每次训练迭代前清除梯度，防止累积。允许更细粒度控制梯度计算。PyTorch 的autograd机制是自动求导的核心，使得深度学习模型训练变得高效且易于实现！🚀。
2025-03-21 18:18:13
516
原创 PyTorch：张量Tensor
多维数组：张量是一个可以包含任意数量维度的数组。根据维度的不同，张量可以被称为：标量（0 维）：一个单独的数字，例如 `5`。向量（1 维）：一个数字的数组，例如 `[1, 2, 3]`。[4, 5, 6]]数据存储：张量是进行数值计算的基本单位，所有的数值数据（如模型参数、输入数据等）都可以表示为张量。PyTorch 的张量操作提供了强大而灵活的功能，使得高效的数值计算和深度学习模型的构建变得简单。不论是数据预处理、特征工程还是模型训练，张量都是不可或缺的工具。
2025-03-21 14:12:13
960
原创 深度学习：PyTorch
PyTorch 因其优雅的设计和灵活性，成为了深度学习研究和开发的重要工具。无论是专业研究人员还是初学者，都可以通过 PyTorch 快速构建并实验不同的深度学习模型。
2025-03-20 18:39:45
148
原创 Open CV：CAMShift 算法
CAMShift 算法最大的特点是可以**自动调整搜索窗口的大小和方向**，从而更好地适应目标大小和形状的变化。CAMShift 算法是 Mean Shift 算法的一个改进版本，它可以自动调整搜索窗口的大小和方向，从而更好地适应目标大小和形状的变化。如果概率分布比较分散，则窗口尺寸会增大。在 Mean Shift 迭代收敛后，CAMShift 算法会根据当前搜索窗口内的概率分布，计算出新的窗口尺寸和方向。4. 计算窗口尺寸和方向: 根据当前搜索窗口内的概率分布，计算出新的窗口尺寸和方向。
2025-03-08 19:35:17
586
原创 Open CV：Mean Shift
基于均值漂移的追踪算法是一种经典的视频追踪算法，它具有简单高效的优点，但也存在一些缺点。通过一些改进方法，可以提高算法的鲁棒性和准确性。
2025-03-08 16:38:21
638
原创 Open CV：视频读取
使用 `cv2.VideoCapture()` 读取视频文件或摄像头。使用 `cap.read()` 读取视频帧。使用 `cv2.VideoWriter()` 创建 VideoWriter 对象。使用 `out.write()` 写入视频帧。使用 `cap.release()` 和 `out.release()` 释放资源。选择合适的 FourCC 编码器。
2025-03-07 23:33:22
1046
原创 图像特征：ORB算法
ORB 算法是一种快速、免专利费用的局部特征提取算法，是 SIFT 和 SURF 算法的一个有竞争力的替代方案。它结合了 FAST 角点检测算法和 BRIEF 描述符，并在此基础上进行了改进，使其具有旋转不变性和更好的鲁棒性。ORB 算法在图像匹配、物体识别等领域得到了广泛应用。
2025-03-07 15:41:13
1125
原创 图像特征：FAST算法
FAST 算法是一种非常快速的角点检测算法，适用于实时应用和资源受限的平台。虽然它对噪声敏感，并且不具备方向信息，但其速度优势使其在许多应用中成为一个有吸引力的选择。OpenCV 提供了 FAST 算法的方便实现，可以轻松地在 Python 中使用 FAST 算法。
2025-03-07 15:28:54
484
原创 图像特征：SURF算法
SURF 算法是一种快速且稳健的局部特征提取算法，是 SIFT 算法的有效替代方案。它通过使用积分图像、Hessian 矩阵近似和 Haar 小波响应等技术，大大提高了计算速度。SURF 算法在图像匹配、物体识别等领域得到了广泛应用。请记住，在 OpenCV 中使用 SURF 需要安装 `opencv-contrib-python` 库。
2025-03-06 22:03:51
665
原创 图像特征：SIFT算法
SIFT 是一种强大的局部特征提取算法，具有尺度不变性、旋转不变性等优点，被广泛应用于各种图像处理任务中。虽然计算复杂度较高，但其鲁棒性和独特性使其成为许多应用的首选算法。OpenCV 提供了方便的 SIFT 实现，可以轻松地在 Python 中使用 SIFT 算法。
2025-03-06 20:47:08
655
原创 图像特征：Shi-Tomasi 角点检测算法
Shi-Tomasi 角点检测是一种优秀的角点检测算法，特别适合于需要跟踪特征的应用。它通过计算矩阵 M 的最小特征值来确定角点，并且具有比 Harris 算法更稳定的特性。通过调整 `maxCorners`、`qualityLevel` 和 `minDistance` 等参数，可以控制角点检测的数量和质量。`cv2.goodFeaturesToTrack()` 函数是 OpenCV 中实现 Shi-Tomasi 角点检测的便捷工具。
2025-03-05 22:14:34
1116
原创 图像特征：Harris 角点检测
Harris 角点检测是一种简单而有效的角点检测算法。它基于图像灰度强度的二阶导数来寻找角点，具有旋转不变性和计算效率高的优点。通过调整 `blockSize`、`ksize` 和 `k` 等参数，可以控制角点检测的灵敏度。然而，Harris 角点检测对尺度变化比较敏感，因此在某些应用中可能需要结合其他技术来提高鲁棒性。
2025-03-05 22:01:12
891
原创 Open CV：图像特征
图像特征是图像处理中非常重要的概念。它们是图像的简化表示，捕捉了图像的关键属性，使我们能够进行各种分析、识别和理解任务。通过选择合适的图像特征和特征提取方法，可以有效地解决各种图像处理问题。
2025-03-05 20:27:13
320
原创 Open CV：Hu 矩 (Hu Moments)
Hu 矩是一种强大的形状描述符，对于平移、旋转和尺度变化具有不变性。通过计算和比较 Hu 矩，可以实现形状识别、形状匹配等应用。在使用时，请注意数值稳定性和归一化问题。
2025-03-05 19:22:47
390
原创 Open CV：轮廓的特征
轮廓特征是描述轮廓形状的重要工具，可以帮助我们理解、识别和比较不同的形状。通过选择合适的轮廓特征，可以有效地解决各种图像分析和识别问题。
2025-03-05 17:36:36
982
原创 Open CV：轮廓检测
在图像处理中，轮廓可以定义为将具有相同颜色或强度的连续点连接起来的曲线。简单来说，轮廓就是图像中物体的外边界。轮廓检测是一种重要的图像处理技术，通过提取图像中对象的边界，为后续的图像分析和识别提供基础。掌握轮廓检测的基本步骤和常用算法，可以帮助我们更好地理解和应用图像处理技术。
2025-03-05 12:08:49
609
原创 Open CV：霍夫变换
霍夫变换是一种强大且有效的几何形状检测技术，其在图像分析和处理中的应用非常广泛，尤其是在形状检测方面。通过适当的参数设置，可以灵活地检测不同类型的线条和形状。
2025-03-04 23:56:50
1268
原创 Open CV：模板匹配
首先，需要选择一个小的图像区域作为模板。这一模板通常是希望在目标图像中找到的特征或对象的代表。模板匹配是一种强大而直观的图像处理和分析技术，其简洁的原理和广泛的应用使其在计算机视觉领域得到了广泛认可。尽管存在一些局限性，例如对光照变化和对象形状的敏感性，但在适当的环境条件下，它能够提供有效的目标检测和识别性能。CC。
2025-03-04 19:38:55
720
原创 边缘检测：Canny
Canny边缘检测是一种复杂但非常有效的边缘检测方法，通过降噪、计算梯度、非极大值抑制和边缘连接形成了一套完整的边缘检测流程。%5Csigma。
2025-03-04 15:53:11
604
原创 边缘检测：Scharr算子
Scharr算子是一个高效的边缘检测工具，通过特定的卷积核实现对图像梯度的精确计算，可以有效地提取边缘信息。其对细节和噪声的敏感性使得它在计算机视觉和图像处理领域得到了广泛应用。
2025-03-04 15:26:56
462
原创 边缘检测：Laplacian算子
Laplacian算子是一种有效的边缘检测方法，通过计算图像的二阶导数，快速找到边缘位置。尽管对噪声比较敏感，但其强大的边缘检测能力仍使其在许多领域得到了广泛应用。
2025-03-04 15:10:03
535
原创 边缘检测：Sobel算子
Sobel算子使用两个3x3的卷积核（也称为滤波器），分别用于检测水平方向和垂直方向的边缘。这两个卷积核如下：水平卷积核垂直卷积核Sobel算子是一款经典且高效的边缘检测工具，通过计算图像的水平方向和垂直方向的梯度，能够精准识别图像中的边缘。同样，其计算简单、效果显著，使得其在许多计算机视觉应用中得到了广泛的使用。
2025-03-04 14:55:35
1606
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人