在 MacBook 上训练自己的 LLM：使用 MLX 进行微调指南 在 Apple Silicon Mac 上对自定义数据集进行 LLM 微调的指南

最新推荐文章于 2025-03-27 14:06:29 发布
最新推荐文章于 2025-03-27 14:06:29 发布
阅读量235 收藏
点赞数
分类专栏： NVIDIA GPU和大语言模型开发教程 文章标签： macos
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/iCloudEnd/article/details/145868303
版权

简介

微调代表了模型开发的一种战略方法，我们采用预先训练的 LLM（通过对大量数据集的训练，已经具备了广泛的语言理解能力），并在较小的专业数据集上对其进行进一步训练。该模型在保留其基础知识的同时，还在您的目标领域发展专业知识。

对于某些自定义任务，微调可以比仅使用 LLM 模型产生更好的结果。无论您是处理患者医疗记录以生成治疗摘要、分析历史诊断模式，还是想要构建一个能够理解特定医学术语和医院协议的模型以生成标准化报告，您都可以考虑对 LLM 模型进行微调。

微调具有重要意义，因为您无法从头开始训练整个大型语言模型，因为它在计算能力和时间方面都非常耗费资源。因此，利用预训练模型中嵌入的现有知识可以在数据和计算要求较少的情况下在小众任务上实现高性能。

在这里插入图片描述

推荐文章

了解本专栏 订阅专栏 解锁全文
苹果大模型系列之在 Mac 上进行本地 LLM 微调（M1 16GB） 适合初学者的 Python 代码微调教程(教程含源码)
iCloudEnd的博客
08-08 210
本文是关于在实践中使用大型语言模型 (LLM) 的大型系列文章的一部分。在上一篇文章中，我展示了如何使用 Google Colab 上的单个（免费）GPU 微调 LLM。虽然该示例（以及许多其他示例）可以在 Nvidia 硬件上轻松运行，但它们并不容易适应 M 系列 Mac。在本文中，我将介绍一种在 Mac 上本地微调 LLM 的简单方法。
苹果大模型系列之 使用 Apple 的 MLX 框架在 Apple Silicon 上运行大型语言模型 (Llama 3)，使用 Apple Silicon (M1、M2、M3、M4) 上的 Appl
iCloudEnd的博客
07-08 616
MLX 受到 PyTorch、Jax 和 ArrayFire 的启发，是 Apple Machine Learning Research 专为 Apple 芯片设计的模型训练和服务框架。它支持一系列机器学习任务，包括大规模文本生成、图像生成和语音识别。该框架与 Hugging Face 集成，可实现模型的无缝加载和服务。
在 Mac 上进行本地 LLM 微调（M1 16GB）
2401_85233349的博客
08-02 2304
我不会使用 Hugging Face 的 Transformers 库和 Google Colab，而是使用 MLX 库和我的本地机器（2020 Mac Mini M1 16GB）。在这里，我使用来自我的 YouTube 频道的 50 条真实评论和回复进行训练，使用 10 条评论/回复进行验证和测试（总共 70 个示例）。为了尽快完成训练，我关闭了机器上的所有其他进程，以便为微调过程分配尽可能多的内存。它采用 JSON 格式，即键值对，其中键 = “文本”，值 = 合并的提示、评论和响应。
【LLM大模型】AI小白使用Macbook Pro安装llama3与langchain初体验
2301_81940605的博客
07-12 3663
上次在Macbook Pro上安装了Stable Diffusion，体验了本地所心所欲地生成各种心仪的图片，完全没有任何限制的惬意。今天想使用Macbook Pro安装一个本地大语言模型体验一下，刚好在2024年4月18日，Meta在官网上宣布公布了旗下最新大模型Llama 3，并开放了80亿（8b）和700亿（70b）两个小参数版本，据说能力显著提升。遂开干。
在Macbook上使用MLX框架lora微调Qwen--2.5大模型
最新发布
ydc233的博客
03-27 1261
帮助大家学习微调大模型，在Macbook中使用MLX微调一个Qwen2.5模型。
专为Apple Silicon优化的开源机器学习框架：MLX （Machine Learning eXtension）
skywalk8163的专栏
02-15 797
MLX能够充分利用Apple Silicon芯片的高性能和能效比，提供更快的训练和推理速度。比如在安装exo的时候，可能就需要安装mlx库。使用M系列芯片（Apple Silicon），原生支持Python >= 3.9，macOS >= 13.5。但是如果mac是Intel芯片，好像就没法装了。会输出arm或者i386。也可以使用uname查询。
从头造轮子 or 重复造轮子？苹果开源 MLX，为自家芯片专属定制机器学习框架...
网易智能
12-07 549
北京时间 12 月 6 日，苹果机器学习研究中心 (Apple machine learning research) 在 GitHub 上开源 MLX。苹果机器学习研究中心研究科学家 Awni Hannun在个人 Twitter 宣布这一消息苹果芯片「专属定制版」机器学习框架MLX 是一个专为苹果芯片设计的机器学习框架，旨在保证用户友好的前提下，支持高效地在苹果芯片上训练及部署模型。MLX 设计...
苹果大模型系列之 从头开始在 Apple Silicon 上进行 ComfyUI(教程含完整步骤)
iCloudEnd的博客
07-18 1332
如何在搭载 Apple Silicon 的 MacBook Pro 上安装 ComfyUI，并开始使用 Stable Diffusion 创作 AI 生成的艺术作品。无需开发技能。在安装了 Python 3.9 的 M1 MacBook Pro 和安装了 Python 3.10 的 M1 Max MacBook Pro 上进行了测试，均使用 macOS Sonoma 14.1.2。
苹果大模型系列之Apple MLX 与 Llama.cpp 对比 Hugging Face Candle Rust，实现本地闪电般快速的LLM
iCloudEnd的博客
06-28 819
在 NLP 部署方面，推理速度是一个至关重要的因素，特别是对于支持 LLM 的应用程序而言。随着 Apple M1 芯片等移动架构数量的不断增长，评估 LLM 在这些平台上的性能至关重要。在本文中，我比较了三个流行的 LLM 库（MLX、Llama.cpp和Hugging Face 的Candle Rust）在Apple M1 芯片上的推理/生成速度。旨在方便开发人员选择最合适的库在本地机器上部署 LLM，同时考虑性能、实现的便利性以及与可用工具和框架的兼容性。
MLX框架的一些示例 包含：文本模型、图像模型、音频模型等
03-11
此存储库包含使用 MLX 的各种独立示例 框架。 文本模型 Transformer 语言模型训练。 在 LLMs 目录中使用 LLaMA、Mistral、Phi-2 等生成大规模文本。 具有 Mixtral 8x7B 的混合专家 （MoE） 语言模型。 使用 LoRA 或 QLoRA 进行参数高效微调。 带有 T5 的文本到文本多任务转换器。 使用 BERT 进行双向语言理解。 图像模型 在 CIFAR-10 上使用 ResNets 进行图像分类。 使用 Stable Diffusion 生成图像。 MNIST 上的卷积变分自编码器 （CVAE）。 音频模型 使用 OpenAI 的 Whisper 进行语音识别。 多式联运模型 使用 CLIP 联合文本和图像嵌入。 使用 LLaVA 从图像和文本输入生成文本。 其他型号 使用 GCN 对图结构化数据进行半监督学习。 用于密度估计和 采样。
在 Mac 上使用 本地 LLM 文本终结
Dev Blog
07-02 532
我们可使用本地大型语言模型，如Mistral、Llama等，来给文本做总结，相比在线的 Kimi ，ChatGPT， 我们不用担心数据泄露，因为整个操作都是在本地电脑完成的。macOS 右键菜单自带服务菜单，我们可以通过服务选择一段文本发送给本地 llm 来达到目的。也是跨应用发送文本，为了达到这个目的，我们还需要借助 Automator。首先安装 ollama https://ollama.com/ ，命令，把相应的模型提前下载好。我的使用感受，有点慢。不然4个G的模型还是要花费一些时间的。
使用 Apple MLX 对 LLM 进行医学诊断预测微调（教程含完整源码）
iCloudEnd的博客
11-11 344
在我之前的文章中，我讨论了微调大型语言模型 (LLM) 的基础知识及其使用该Apple MLX框架的具体用例，包括如何构建 LLM 的自定义版本。那篇文章重点介绍了使用 微调 LLM 的特定用例，mistralai/Mistral-7B-Instruct-v0.2用于Low Rank Adapters (LoRA)文本到 SQL 任务，允许模型根据用户提示生成 SQL 查询。在这篇文章中，我将探讨用于医疗诊断预测的更高级 LLM 微调用例。
在 Mac 上使用 MLX 微调微软 phi3 模型
hawk2014bj的博客
07-03 1872
MLX 模型推理非常简单，数据准备好就可以训练和推理，本次使用的是 phi3 模型，中文支持的不好，以后可以试试 Qwen2 怎么样。
苹果大模型系列之 使用 MLX 在 macOS 上通过 LLM 微调构建自己的 LLM，在 Mac M2 上，训练过程大约需要 36 分钟（教程含详细步骤与代码）
iCloudEnd的博客
06-28 1462
在我之前的系列文章LlamaIndex中，我讨论了使用、LangChain等工具构建 RAG 应用程序，GPT4All, Ollama以利用 LLM 满足特定用例。在这篇文章中，我将探讨另一种称为 LLM 微调的方法。我使用名为的工具在 macOS 上对 Meta 的 LLaMA-3 和 Mistral LLM 进行了微调MLX，该工具是专为 Apple 芯片上的机器学习研究量身定制的数组框架。这种微调是使用一种名为的技术完成的Low Rank Adapters(LoRA)。
【LLM deployment & tuning】在macOS上实现基于MLX框架的LLM的部署和微调
gamewolfskin的博客
11-18 1515
本博客主要实现了在macos上基于MLX格式的LLM的部署、微调等功能的整合，以及一些prompt的设置策略，搭建起了一个较为高效的专用性模型。
【LLM deployment & tuning】在macOS上实现基于MLX框架的LLM的部署和微调 Part2
gamewolfskin的博客
12-15 821
【代码】【LLM deployment & tuning】在macOS上实现基于MLX框架的LLM的部署和微调 Part2。
学大模型必看！手把手带你从零微调大模型！
2301_82275412的博客
09-13 1096
今天分享一篇技术文章，你可能听说过很多大模型的知识，但却从未亲自使用或微调过大模型。大模型微调本身是一件非常复杂且技术难度很高的任务，因此本篇文章仅从零开始，手把手带你走一遍微调大模型的过程，并不会涉及过多技术细节。希望通过本文，你可以了解微调大模型的流程。微调大模型需要非常高的电脑配置，比如GPU环境，相当于你在已经预训练好的基础上再对大模型进行一次小的训练。但是不用担心，本篇文章会使用阿里魔塔社区提供的集成环境来进行，无需使用你自己的电脑配置环境。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

知识大胖

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值