自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(7)
  • 收藏
  • 关注

原创 使用llamafactory微调参数介绍&调参经验分享

llamafactory涉及的微调参数一般包括以下这些,保存在yaml文件中bf16: 是否使用半精度浮点数bf16进行训练。bf16是一种低精度浮点数类型,好处是,可以减少内存使用并可能加速训练,但可能会降低模型性能,。在深度学习中,我们可以选择不同的数值精度来进行模型的训练和计算。不同的精度会影响计算资源的使用、训练速度和模型的精确度。下面我用更通俗的语言解释一下这些术语:FP16 (Half Precision,半精度):这种方式使用16位的浮点数来保存和计算数据。

2025-01-26 17:00:05 1973

原创 基于CPU安装使用ModernBERT教程

ModernBERT 是继BERT之后,一个新的Encoder-Only模型,在速度和准确性方面都比 BERT 系列实现了改进。该模型采用了近年来在大型语言模型 (LLM) 方面的数十项进展,并将它们应用于 BERT 风格的模型,包括对架构和训练过程的更新。

2025-01-26 16:35:39 672

原创 通过代码使用pip install 安装 requirements.txt 错误时,自动跳过未成功安装的包

【代码】通过代码使用pip install 安装 requirements.txt 错误时,自动跳过未成功安装的包。

2024-12-28 14:41:22 395

原创 基于NPU的LLama factory安装&微调大模型使用指南

LLaMA-Factory是一个集多种微调技术于一身的高效框架,支持包括Qwen2-7B在内的多种大型语言模型。它通过集成如LoRA、QLoRA等先进的微调算法,以及提供丰富的实验监控工具,如LlamaBoard、TensorBoard等,为用户提供了一个便捷、高效的微调环境。详细见。

2024-12-24 20:27:22 1305

原创 文本相似性比较方法-包括SentenceBert、聚类等

SentenceBERT是一种用于句子相似度评估和文本分类的深度学习模型。它的主要特点是能够将句子映射到一个固定长度的向量空间中,使得语义相似的句子尽可能靠近,而语义不相似的句子尽可能远离。SentenceBERT的主要思想是利用BERT(一种预训练的语言模型)来对句子进行编码,并使用一个池化层来将句子编码的向量转换为一个固定长度的向量。然后,使用一个分类层来对句子的相似度进行评估。聚类(Clustering)是一种数据分析技术,用于将相似的数据点或对象分组为簇或类别。

2024-11-07 09:51:05 2204

原创 国内GitHub登录显示需要2FA认证解决方法

背景登录github时突然发现登录不上,显示enable two-factor authentication 2fa查了下资料发现很多人遇到这个情况,原来是 GitHub 用户现在需要启用 2FA 双因素身份验证作为附加的安全措施,您需要在2023年5月4日之前在您的帐户上启用双因素身份验证,否则将被限制进行帐户操作。解决方法这边参考了这边博主的文章,下载了Authentictor软件,然后扫描解决,详细见https://blog.csdn.net/wentixiaogege/article

2024-06-26 16:38:51 6037 2

原创 2019-10-21-kenlm使用

layout: posttitle: “kenlm使用”tag: 环境工具安装参考网址https://blog.csdn.net/Nicholas_Wong/article/details/80013547出现问题cmake Could NOT find ZLIB (missing: ZLIB_LIBRARY)https://blog.csdn.net/bobay/art...

2019-11-05 19:51:08 348

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除