- 博客(7)
- 收藏
- 关注
RSS订阅原创 使用llamafactory微调参数介绍&调参经验分享
llamafactory涉及的微调参数一般包括以下这些，保存在yaml文件中bf16: 是否使用半精度浮点数bf16进行训练。bf16是一种低精度浮点数类型，好处是，可以减少内存使用并可能加速训练，但可能会降低模型性能,。在深度学习中，我们可以选择不同的数值精度来进行模型的训练和计算。不同的精度会影响计算资源的使用、训练速度和模型的精确度。下面我用更通俗的语言解释一下这些术语：FP16 (Half Precision，半精度)：这种方式使用16位的浮点数来保存和计算数据。
2025-01-26 17:00:05
1973
原创 基于CPU安装使用ModernBERT教程
ModernBERT 是继BERT之后，一个新的Encoder-Only模型，在速度和准确性方面都比 BERT 系列实现了改进。该模型采用了近年来在大型语言模型 (LLM) 方面的数十项进展，并将它们应用于 BERT 风格的模型，包括对架构和训练过程的更新。
2025-01-26 16:35:39
672
原创 通过代码使用pip install 安装 requirements.txt 错误时，自动跳过未成功安装的包
【代码】通过代码使用pip install 安装 requirements.txt 错误时，自动跳过未成功安装的包。
2024-12-28 14:41:22
395
原创 基于NPU的LLama factory安装&微调大模型使用指南
LLaMA-Factory是一个集多种微调技术于一身的高效框架，支持包括Qwen2-7B在内的多种大型语言模型。它通过集成如LoRA、QLoRA等先进的微调算法，以及提供丰富的实验监控工具，如LlamaBoard、TensorBoard等，为用户提供了一个便捷、高效的微调环境。详细见。
2024-12-24 20:27:22
1305
原创 文本相似性比较方法-包括SentenceBert、聚类等
SentenceBERT是一种用于句子相似度评估和文本分类的深度学习模型。它的主要特点是能够将句子映射到一个固定长度的向量空间中，使得语义相似的句子尽可能靠近，而语义不相似的句子尽可能远离。SentenceBERT的主要思想是利用BERT（一种预训练的语言模型）来对句子进行编码，并使用一个池化层来将句子编码的向量转换为一个固定长度的向量。然后，使用一个分类层来对句子的相似度进行评估。聚类（Clustering）是一种数据分析技术，用于将相似的数据点或对象分组为簇或类别。
2024-11-07 09:51:05
2204
原创 国内GitHub登录显示需要2FA认证解决方法
背景登录github时突然发现登录不上，显示enable two-factor authentication 2fa查了下资料发现很多人遇到这个情况，原来是 GitHub 用户现在需要启用 2FA 双因素身份验证作为附加的安全措施，您需要在2023年5月4日之前在您的帐户上启用双因素身份验证，否则将被限制进行帐户操作。解决方法这边参考了这边博主的文章，下载了Authentictor软件，然后扫描解决，详细见https://blog.csdn.net/wentixiaogege/article
2024-06-26 16:38:51
6038
2
原创 2019-10-21-kenlm使用
layout: posttitle: “kenlm使用”tag: 环境工具安装参考网址https://blog.csdn.net/Nicholas_Wong/article/details/80013547出现问题cmake Could NOT find ZLIB (missing: ZLIB_LIBRARY)https://blog.csdn.net/bobay/art...
2019-11-05 19:51:08
348
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人