苹果大模型系列之深入研究新深度学习库 MLX，使用 Apple 的 MLX和Streamlit 框架在本地部署 LLM(教程含源码)

简介

2023 年 12 月，Apple 发布了新的MLX 深度学习框架，这是由其机器学习研究团队开发的用于 Apple 芯片上机器学习的阵列框架。本教程将探索该框架并演示如何在 MacBook Pro (MBP) 上本地部署 Mistral-7B 模型。我们将设置一个本地聊天界面来与部署的模型进行交互，并测试其每秒生成的令牌的推理性能。此外，我们将深入研究 MLX API，以了解可用于改变模型行为和影响生成文本的杠杆。

与往常一样，该代码可在公共 GitHub 存储库中找到：

https://github.com/marshmellow77/mlx-deep-dive

推荐文章

• 《Code Llama系列教程之 在 苹果笔记本macOS 上本地运行 Code Llama （打造自己的代码AI）》 权重1，llama类、本地类、苹果类