【03】LLaMA-Factory微调大模型——多模型部署

最新推荐文章于 2025-04-24 09:02:37 发布
最新推荐文章于 2025-04-24 09:02:37 发布
阅读量3.3k 收藏 27
点赞数 35
分类专栏： LLaMA-Factory微调大模型 文章标签： llama AIGC 语言模型 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/H66778899/article/details/140465614
版权

为了构建法律领域的垂直应用大模型，记录使用LLaMA-Factory微调大模型的过程，以期UU们可以复刻与应用。上文【02】LLaMA-Factory微调大模型——LLaMA-Factory搭建已在本机成功部署模型微调框架，本文则在本机部署多种基础模型，为后续微调提供准备。

一、基础模型选择

 LLaMA-Factory框架所支持的模型如下表所示，覆盖主流的开源大模型，可按照自身需求进行应用。本文主要部署Qwen2、GLM-4、LLaMA3-8B-Chinese-Chat三个模型进行实验。

模型名 模型大小 Template
Baichuan 2 7B/13B baichuan2
BLOOM/BLOOMZ 560M/1.1B/1.7B/3B/7.1B/176B -
ChatGLM3 6B chatglm3
Command R 35B/104B cohere
DeepSeek (Code/MoE) 7B/16B/67B/236B deepseek
Falcon 7B/11B/40B/180B falcon
Gemma/Gemma 2/CodeGemma 2B/7B/9B/27B gemma
GLM-4 9B glm4
InternLM2 7B/20B intern2
Llama 7B/13B/33B/65B -
Llama 2 7B/13B/70B llama2
Llama 3 8B/70B llama3
LLaVA-1.5 7B/13B vicuna
Mistral/Mixtral 7B/8x7B/8x22B mistral
OLMo 1B/7B -
PaliGemma 3B gemma
Phi-1.5/Phi-2 1.3B/2.7B -
最低0.47元/天 解锁文章
【02】LLaMA-Factory微调大模型——LLaMA-Factory搭建
H66778899的博客
07-16 2830
【02】LLaMA-Factory微调大模型——LLaMA-Factory搭建
【06】LLaMA-Factory微调大模型——微调模型评估
H66778899的博客
07-19 9009
【06】LLaMA-Factory微调大模型——微调模型评估
服务器部署LLaMAFactory进行LoRA微调
最新发布
qq_60245590的博客
04-24 1196
仓库已经成功克隆下来了。Factory支持的格式。LLaMA-Factory支持多种格式，对于文本分类任务，我们可以使用alpaca格式。包含了所有可用的数据集。使用刚刚自定义三个数据采集数据集，需要在文件中添加数据集描述，并通过修改配置来使用数据集。现在让我们添加我们的三个自定义数据集。数据已经成功转换并保存到了正确的位置。接下来可以开始使用这些数据进行训练了。
部署LLaMA Factory，及快速使用
qq_60245590的博客
04-15 1342
LLaMA Factory 是一个围绕 Meta 的 LLaMA（Large Language Model Meta AI）模型设计的工具或代码结构，主要用于简化模型的创建、管理和部署。
部署微调框架LLaMA-Factory
m0_67876774的博客
06-24 1612
1.我们在ChatGLM3的github官方页面上能看到对LLaMA-Factory的推荐。在Notebook中执行以下代码，拉取LLaMA-Factory项目到DSW实例。运行如下命令，如果显示llamafactory-cli的版本，则表示安装成功。，在工作空间列表页面中单击默认工作空间名称，进入对应工作空间内。在页面左上方，选择DSW实例所在的地域。安装LLaMA-Factory依赖环境。1.看到如下页面就已经部署成功。，进入DSW实例开发环境。页面中，单击快速开始区域。进入DSW开发环境。
LLaMA-Factory部署以及微调大模型
qq_35594661的博客
03-05 4048
安装成功后，输入python能出现截图表示安装成功。
llama3 微调教程之 llama factory 的 安装部署与模型微调过程，模型量化和gguf转换。
热门推荐
失业求捞！
05-17 2万+
本文记录了从环境部署到微调模型、效果测试的全过程，以及遇到几个常见问题的解决办法，亲测可用（The installed version of bitsandbytes was compiled without GPU support. NotImplementedError: Architecture ‘LlamaForCausalLM’ not supported!
LLaMA-Factory全面指南：从训练到部署
全世界的博客
07-30 9251
LLaMA-Factory项目是一个专注于大模型训练、微调、推理和部署的开源平台。其主要目标是提供一个全面且高效的解决方案，帮助研究人员和开发者快速实现大模型的定制化需求。简化大模型训练流程：通过提供一系列预设的训练脚本和参数配置，降低用户在训练大模型时的技术门槛，使得即使是初学者也能轻松上手。增强模型微调能力：支持多种微调方法，如LoRA、QLoRA等，使用户能够根据特定任务需求对模型进行精细调整，从而提升模型性能。优化推理和部署体验。
【04】LLaMA-Factory微调大模型——数据准备
H66778899的博客
07-18 5946
【04】LLaMA-Factory微调大模型——数据准备
【01】LLaMA-Factory微调大模型——基础环境配置
H66778899的博客
07-16 2619
【01】LLaMA-Factory微调大模型——基础环境配置
LLaMA Factory 微调框架的部署
OFFTime_we的博客
01-12 1346
在深度学习的浪潮中，预训练大语言模型（Large Language Models, LLMs）逐渐成为各领域的核心工具。然而，由于大规模模型的复杂性和计算资源需求，直接使用这些模型来解决特定任务往往效率低下。微调（Fine-tuning）技术因此成为了模型开发者们的关键手段，通过针对特定任务的数据调整模型的权重，可以大幅提升模型的效果LLaMA（Large Language Model Meta AI）作为近年来大受欢迎的开源大语言模型，因其性能优异和架构灵活被广泛应用。
AI智能体研发之路-模型篇（一）：大模型训练框架LLaMA-Factory在国内网络环境下的安装、部署及使用
人工智能领域博客
05-14 1万+
本文先对LLaMA-Factory项目进行介绍，之后逐行详细介绍了该项目在国内网络环境下如何安装、部署，最后以Baichuan2-7B为例，通过讲解训练参数的方式详细介绍了基于LLaMA-Factory WebUI的大模型微调训练。篇幅有限，专栏内会持续更新，详细介绍大模型微调训练方法。如果觉得对你有帮助，期待您的关注，点赞、收藏或评论，您的支持是我持续码字的动力。
LLaMA-Factory安装部署-1
qq_15821487的博客
08-22 1116
对齐训练，大模型对齐训练ppo、dpo、kto，到底是什么意思，是什么的缩写，原理是怎么样的？ 大模型对齐训练中的PPO、DPO、KTO是几种不同的优化算法，它们各自有不同的缩写含义和原理。PPO：即Proximal Policy Optimization（近端策略优化），是一种强化学习算法。PPO通过结合有监督微调（Supervised Fine-Tuning，SFT）和强化学习策略训练阶段，使用显式的逐点奖励函数来训练模型。PPO有助于对齐大型语言模型（LLM）与人类偏好，但也可能导致模型在某些NLP基
微调大语言模型——LLaMa-Factory平台搭建（非常详细）零基础入门到精通，收藏这一篇就够了
Javachichi的博客
08-03 6045
我们采用 LLaMA-Factory平台进行微调语言模型，详细信息可以访问github主页（https://github.com/hiyouga/LLaMA-Factory）浏览。
LLaMA-Factory微调多模态大语言模型教程
weixin_45783724的博客
05-30 8513
手把手教你微调多模态大模型
微调神器LLaMA-Factory官方保姆级教程来了，从环境搭建到模型训练评估全覆盖
lqfarmer的博客
07-06 4519
数据集的格式要求在不同的阶段是不同的，本教程以sft阶段的数据集需求，将以系统自带的identity数据集和将自定义的一个商品文案生成数据集为例，介绍数据集的使用。更多详情可以在https://github.com/hiyouga/LLaMA-Factory/blob/main/data/README_zh.md 中找到相关解释。系统目前支持 alpaca 和sharegpt两种数据格式，以alpaca为例，整个数据集是一个json对象的list，具体数据格式为。
llama大模型部署
weixin_40467931的博客
12-22 196
看模型加载的参数设置. import torch # 初始化Half Tensor h = torch.tensor([1.0,2.0,3.0], dtype=torch.half) # h = torch.tensor([1.0,2.0,3.0], dtype=torch.float16) # 跟上面一行一样. # 查看数据类型 print(h.dtype) import accelera...
LLaMA-Factory私有化部署 -- PAI-DSW
MilkLeong的博客
07-31 892
LLaMA-Factory的私有化部署与部署大模型的过程大体相同，都包括创建Python虚拟环境、下载项目文件及安装所需的依赖包，但在部署LLaMA-Factory时不需要再安装模型权重文件。LLaMA-Factory的requirements.txt文件包含了项目运行所需的所有Python包及其精确版本，可使用pip一次性安装所有依赖。建议在执行项目的依赖安装之前升级pip的版本，如果使用的是旧版本的pip，可能无法安装一些最新的包，或者可能无法正确解析依赖关系。使用下面的代码进行Pytorch的安装。
llama-factory部署微调
01-19
### 关于LlaMA-Factory部署和微调的信息 #### 使用LlaMA-Factory进行模型微调 为了利用LlaMA-Factory执行低秩适应（LoRA）微调，需先安装该库。这可以通过克隆GitHub上的官方仓库来完成[^2]： ```bash git clone -...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

比伯476

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值