【大模型开源实战】10 分钟,教你如何用 LLama-Factory 训练和微调大模型

在这个AI快速发展的时代，我们很高兴为大家带来LlamaFactory - 一个为AI开发者和爱好者量身打造的实用工具平台。作为非计算机专业出身的开发者，我们深深受益于计算机世界的开放共享精神。今天，我们希望通过LlamaFactory为这个社区贡献我们的一份力量。

📖 LlamaFactory能为您提供什么？

🌐 英文文档的AI翻译：利用大语言模型将英文文档翻译成中文，助您更便捷地获取最新技术信息。

💻 快速获取主流大模型调用代码：一键获取各大AI大模型的调用代码，方便您将大模型能力快速集成到项目中。

🔧 LLaMA-Factory训练命令转VSCode调试配置：将训练启动命令转换为VSCode的debug配置文件，简化开发调试流程。

📊 大模型训练显存占用预估：帮您在训练大模型时选择合适的硬件配置，提高资源利用效率。

📚 收集主流大模型聚合平台和API接口：整理各大AI聚合平台以及聚合接口方案，为您提供一站式查询服务。

💡 收集高质量Prompts、编写技巧、学习资源：为AI爱好者和开发者提供知识库，汇集经过筛选的高质量提示词（Prompts）、编写技巧和学习资源。

🤖 大模型驱动的文章聚合平台：利用先进的大模型技术对精选文章来源进行深度筛选，打造纯粹的大模型技术文章聚合平台。未来，我们计划进一步应用大模型技术来优化平台，为用户带来更出色的阅读体验。

这些功能都源于我们日常工作和学习中的实际需求，是一点一滴积累的经验总结。虽然看似简单，但我们相信这些工具能为许多开发者节省时间和精力。

👉CSDN大礼包🎁：这一份大模型《LLaMA Factory开源教程》免费分享（安全链接，放心点击）👈

​

目录

• 特征
• 基准
• 更新日志
• 支持的型号
• 支持的培训方法
• 提供的数据集
• 要求
• 入门
• 使用 LLaMA Factory 的项目
• 执照
• 引用
• 致谢

特征

• 各种型号：LLaMA、LLaVA、Mistral、Mixtral-MoE、Qwen、Qwen2-VL、Yi、Gemma、Baichuan、ChatGLM、Phi 等。
• 集成方法：（连续）预训练、（多模态）监督微调、奖励建模、PPO、DPO、KTO、ORPO 等。
• 可扩展资源：通过 AQLM/AWQ/GPTQ/LLM.int8/HQQ/EETQ 的 16 位全调谐、冻结调谐、LoRA 和 2/3/4/5/6/8 位 QLoRA。
• 高级算法：GaLore、BAdam、Adam-mini、DoRA、LongLoRA、LLaMA Pro、Mixture-of-Depths、LoRA+、LoftQ、PiSSA 和 Agent tuning。
• 实用技巧：FlashAttention-2、Liger Kernel、RoPE scaling、NEFTune 和 rsLoRA。
• 实验监控：LlamaBoard、TensorBoard、Wandb、MLflow 等。
• 更快的推理：带有 vLLM 工作器的 OpenAI 风格的 API、Gradio UI 和 CLI。

支持的型号

笔记

对于“基础”模型，参数可以从、等中template选择。但请确保使用“指导/聊天”模型的相应模板。 default``alpaca``vicuna****

记住在训练和推理中使用相同的模板。

请参阅constants.py以获取我们支持的模型的完整列表。

您还可以将自定义聊天模板添加到template.py。

支持的培训方法

提示

PPO 的实施细节可在此博客中找到。

某些数据集在使用前需要确认，因此我们建议使用这些命令通过您的 Hugging Face 帐户登录。

pip install --upgrade huggingface_hub
huggingface-cli login

要求

硬件要求

*估计的

👉CSDN大礼包🎁：这一份大模型《LLaMA Factory开源教程》免费分享（安全链接，放心点击）👈

​